Meta-Reasoning Improves Tool Use in Large Language Models

要約

外部ツールは、大規模言語モデル (LLM) が通常は失敗するタスクを成功させるのに役立ちます。
既存のフレームワークでは、LLM は、コンテキスト内のデモンストレーションまたは注釈付きデータの完全なモデルの微調整によってツールの使用法を学習します。
これらのアプローチは簡単に拡張できないため、最近の傾向として、軽量でパラメーター効率の高い調整パラダイムを支持して、それらを放棄する傾向にあります。
これらのメソッドを使用すると、いくつかの追加カスタム パラメーターをオンまたはオフに切り替えることで、フリーズされた LLM とその特殊な微調整バージョンをすばやく切り替えることができます。
したがって、凍結モデルの一般化機能を活用してツールの選択を改善できると仮定します。
メタ推論 (TECTON) によるツール選択を紹介します。これは、最初にカスタムの微調整された LM ヘッドを使用してタスクを推論し、候補ツールを出力する 2 フェーズ システムです。
次に、カスタム ヘッドを無効にして、メタ推論 (つまり、前の推論プロセスを推論) して最終的な選択を行います。
TECTON が、分布内および分布外の両方で、さまざまな数学的推論データセットに対して大幅な利益をもたらすことを示します。

要約(オリジナル)

External tools help large language models (LLMs) succeed at tasks where they would otherwise typically fail. In existing frameworks, LLMs learn tool use either by in-context demonstrations or via full model fine-tuning on annotated data. As these approaches do not easily scale, a recent trend is to abandon them in favor of lightweight, parameter-efficient tuning paradigms. These methods allow quickly alternating between the frozen LLM and its specialised fine-tuned version, by switching on or off a handful of additional custom parameters. Hence, we postulate that the generalization ability of the frozen model can be leveraged to improve tool selection. We present Tool selECTion via meta-reasONing (TECTON), a two-phase system that first reasons over a task using a custom fine-tuned LM head and outputs candidate tools. Then, with the custom head disabled, it meta-reasons (i.e., it reasons over the previous reasoning process) to make a final choice. We show that TECTON results in substantial gains – both in-distribution and out-of-distribution – on a range of math reasoning datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google