Efficient Tool Use with Chain-of-Abstraction Reasoning

要約

人間の期待に沿った忠実な推論を実現するには、大規模言語モデル (LLM) はその推論を現実世界の知識 (Web の事実、数学、物理規則など) に基づいて行う必要があります。
ツールは、LLM がこの外部知識にアクセスするのに役立ちますが、相互接続されたツールの呼び出しには全体的かつ効率的なツールの使用計画が必要な、複数ステップの推論問題でツールを呼び出すために LLM エージェント (Toolformer など) を微調整するのに課題が残っています。
この研究では、LLM が複数ステップの推論でツールをより効果的に活用するための新しい方法を提案します。
私たちの手法である抽象化チェーン (CoA) は、最初に抽象プレースホルダーを使用して推論チェーンを解読するように LLM をトレーニングし、次にドメイン ツールを呼び出して、特定の知識を入力することで各推論チェーンを具体化します。
抽象チェーンを使用したこの計画により、LLM は、さまざまな推論の質問に関連するドメイン知識 (数学の結果など) の変化に対して堅牢な、より一般的な推論戦略を学習できるようになります。
また、LLM がデコードと外部ツールの呼び出しを並行して実行できるようになり、ツールの応答を待つことによって生じる推論の遅延が回避されます。
数学的推論と Wiki QA ドメインでは、配布内および配布外のテスト セットの両方で、私たちの手法が以前の思考連鎖とツールで強化されたベースラインよりも一貫して優れており、QA の絶対精度が平均で最大 6% 向上していることを示しています。
。
私たちの手法でトレーニングされた LLM エージェントも、より効率的なツールの使用を示しており、推論速度はベースラインのツールで強化された LLM よりも平均で約 1.4 倍高速です。

要約(オリジナル)

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google