Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger

要約

大規模な言語モデル（LLM）は、顕著な緊急機能を示しており、特殊な処理またはリアルタイムデータを必要とする複雑な問題のために外部ツールを活用することにより、機能タスクの実行を変換します。
既存の研究により、LLMSアクセスが多様なツール（プログラム通訳者、検索エンジン、天気/地図アプリなど）へのアクセスを拡大していますが、これらのツールを使用する必要性は見落とされがちであり、無差別なツールの呼び出しにつながります。
この素朴なアプローチは、2つの重要な問題を引き起こします。（1）不必要なツール呼び出しによる遅延の増加、および（2）外部ツールとの誤った相互作用に起因する潜在的なエラー。
このホワイトペーパーでは、メタ認知をLLMSの能力の自己評価のプロキシとして紹介し、モデルの独自の制限に対する認識を表しています。
これに基づいて、外部ツール使用のための適応的な意思決定戦略であるMECOを提案します。
MECOは、表現空間で高レベルの認知信号をキャプチャし、ツールを呼び出すタイミングを導くことにより、メタ認知スコアを定量化します。
特に、Mecoは微調整フリーであり、最小限のコストが発生します。
私たちの実験は、MECOがLLMの内部認知信号を正確に検出し、複数のベースモデルとベンチマークにわたってツール使用の意思決定を大幅に改善することを示しています。

要約(オリジナル)

Large language models (LLMs) have shown remarkable emergent capabilities, transforming the execution of functional tasks by leveraging external tools for complex problems that require specialized processing or real-time data. While existing research expands LLMs access to diverse tools (e.g., program interpreters, search engines, weather/map apps), the necessity of using these tools is often overlooked, leading to indiscriminate tool invocation. This naive approach raises two key issues:(1) increased delays due to unnecessary tool calls, and (2) potential errors resulting from faulty interactions with external tools. In this paper, we introduce meta-cognition as a proxy for LLMs self-assessment of their capabilities, representing the model’s awareness of its own limitations. Based on this, we propose MeCo, an adaptive decision-making strategy for external tool use. MeCo quantifies metacognitive scores by capturing high-level cognitive signals in the representation space, guiding when to invoke tools. Notably, MeCo is fine-tuning-free and incurs minimal cost. Our experiments show that MeCo accurately detects LLMs’ internal cognitive signals and significantly improves tool-use decision-making across multiple base models and benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google