CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets

要約

大規模言語モデル (LLM) は、複雑なタスクを解決するためのツールで強化されることがよくあります。
コード スニペットを生成し、タスク固有のアプリケーション プログラミング インターフェイス (API) を通じて実行することで、画像のエンコードや計算の実行など、特定の機能を専用の外部モジュールにオフロードできます。
ただし、ツールを使用して LLM を強化する既存のアプローチのほとんどは、汎用 API による制約があり、特定のタスクに合わせて調整する柔軟性に欠けています。
この研究では、LLM 用の一般的なツール作成および検索フレームワークである CRAFT を紹介します。
タスク用に特別に厳選されたツールセットを作成し、これらのセットからツールを取得するコンポーネントを LLM に装備して、複雑なタスクを解決する機能を強化します。
タスクごとに、GPT-4 にトレーニング サンプルを解決するよう促すことで、特定のコード ソリューションを収集します。
正確性を保証する検証ステップに続いて、これらのソリューションは再利用性を高めるためにコード スニペットに抽象化され、高品質のために重複排除されます。
推論時に、言語モデルはツールセットからスニペットを取得して実行するか、取得したスニペットに対して出力条件付けを生成します。
私たちの手法は柔軟になるように設計されており、微調整することなく、既製の LLM を目に見えないドメインやモダリティに適応させるためのプラグアンドプレイ アプローチを提供します。
ビジョン言語、表形式処理、および数学的推論のタスクに関する実験では、私たちのアプローチが強力なベースラインと比較して大幅な改善を達成することが示されています。
さらに、当社の詳細な分析により、(1) ツールの数とバックボーン モデルの機能をスケールアップすることで、一貫したパフォーマンスの向上が達成できることが明らかになりました。
(2) 私たちのアプローチの各コンポーネントはパフォーマンスの向上に貢献します。
(3) 作成されたツールは適切に構造化され、信頼性が高く、複雑性や原子性が低くなります。
コードは \url{https://github.com/lifan-yuan/CRAFT} で入手できます。

要約(オリジナル)

Large language models (LLMs) are often augmented with tools to solve complex tasks. By generating code snippets and executing them through task-specific Application Programming Interfaces (APIs), they can offload certain functions to dedicated external modules, such as image encoding and performing calculations. However, most existing approaches to augment LLMs with tools are constrained by general-purpose APIs and lack the flexibility for tailoring them to specific tasks. In this work, we present CRAFT, a general tool creation and retrieval framework for LLMs. It creates toolsets specifically curated for the tasks and equips LLMs with a component that retrieves tools from these sets to enhance their capability to solve complex tasks. For each task, we collect specific code solutions by prompting GPT-4 to solve the training examples. Following a validation step ensuring the correctness, these solutions are abstracted into code snippets to enhance reusability, and deduplicated for higher quality. At inference time, the language model retrieves snippets from the toolsets and then executes them or generates the output conditioning on the retrieved snippets. Our method is designed to be flexible and offers a plug-and-play approach to adapt off-the-shelf LLMs to unseen domains and modalities, without any finetuning. Experiments on vision-language, tabular processing, and mathematical reasoning tasks show that our approach achieves substantial improvements compared to strong baselines. In addition, our in-depth analysis reveals that: (1) consistent performance improvement can be achieved by scaling up the number of tools and the capability of the backbone models; (2) each component of our approach contributes to the performance gains; (3) the created tools are well-structured and reliable with low complexity and atomicity. The code is available at \url{https://github.com/lifan-yuan/CRAFT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google