OTC: Optimal Tool Calls via Reinforcement Learning

要約

ツール統合推論（TIR）は、言語のみの推論の機能を超えたタスクを解決するために、検索エンジンやコード通訳などの外部ツールを呼び出す機能を備えた大規模な言語モデル（LLM）を増強します。
Rehnecortion Learning（RL）は、最終的な回答の正確性を最適化することによりTIRを改善することに有望を示していますが、既存のアプローチはツールの使用に関連する効率とコストを見落としていることがよくあります。
これにより、計算および財務のオーバーヘッドを増加させる過剰なツール呼び出しや、回答の質を損なうツールの使用が不十分であるなど、最適ではない動作につながる可能性があります。
この作業では、モデルが最小限のツール呼び出しで正確な回答を生成することを奨励するシンプルで効果的なRLベースのフレームワークである、最適なツールコールコール制御ポリシー最適化（OTC-PO）を提案します。
私たちの方法は、正確性とツール効率を共同で考慮し、高いツールの生産性を促進するツール統合された報酬を導入します。
このフレームワークは、近位ポリシー最適化（PPO）とグループ相対嗜好最適化（GRPO）の両方でインスタンス化され、OTC-PPOとOTC-GRPOをもたらします。
複数のQAベンチマークにわたるQWEN-2.5およびQWEN-MATHを使用した実験は、このアプローチがツール呼び出しを最大73.1 \％削減し、同等の回答精度を維持しながらツールの生産性を最大229.4 \％に改善することを示しています。
私たちの知る限り、これはTIRのツール使用効率を明示的に最適化する最初のRLベースのフレームワークです。

要約(オリジナル)

Tool-integrated reasoning (TIR) augments large language models (LLMs) with the ability to invoke external tools, such as search engines and code interpreters, to solve tasks beyond the capabilities of language-only reasoning. While reinforcement learning (RL) has shown promise in improving TIR by optimizing final answer correctness, existing approaches often overlook the efficiency and cost associated with tool usage. This can lead to suboptimal behavior, including excessive tool calls that increase computational and financial overhead, or insufficient tool use that compromises answer quality. In this work, we propose Optimal Tool Call-controlled Policy Optimization (OTC-PO), a simple yet effective RL-based framework that encourages models to produce accurate answers with minimal tool calls. Our method introduces a tool-integrated reward that jointly considers correctness and tool efficiency, promoting high tool productivity. We instantiate this framework within both Proximal Policy Optimization (PPO) and Group Relative Preference Optimization (GRPO), resulting in OTC-PPO and OTC-GRPO. Experiments with Qwen-2.5 and Qwen-Math across multiple QA benchmarks show that our approach reduces tool calls by up to 73.1\% and improves tool productivity by up to 229.4\%, while maintaining comparable answer accuracy. To the best of our knowledge, this is the first RL-based framework that explicitly optimizes tool-use efficiency in TIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google