From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions

要約

ツール学習により、大規模言語モデル (LLM) はツールを呼び出して外部環境と対話できるようになり、トレーニング前のデータに固有の制限を軽減する効果的な戦略として機能します。
このプロセスでは、LLM の使用手順を提供するツールのドキュメントが重要な役割を果たし、それによってツールの効果的な利用が促進されます。
このホワイトペーパーでは、既存の人間中心のツールのドキュメントに内在する不備や不正確さによる、LLM と外部ツールとの間の理解のギャップを埋めるという重要な課題に焦点を当てます。
私たちは、LLM と外部ツールとの相互作用から生じるフィードバックと軌跡の分析を通じて、ツールのドキュメントを動的に洗練することを目的とした新しいフレームワークである DRAFT を提案します。
この方法論は革新的な試行錯誤のアプローチを軸にしており、経験の収集、経験からの学習、ドキュメントの書き換えという 3 つの異なる学習フェーズで構成され、ツールのドキュメントを繰り返し強化します。
このプロセスは、多様性を促進する探索戦略を実装して探索の多様性を確保し、ツール適応型終了メカニズムを実装することでさらに最適化され、効率を高めながら過剰適合を防止します。
複数のデータセットに対する広範な実験により、DRAFT の反復的なフィードバックベースの改良によりドキュメントの品質が大幅に改善され、LLM によるツールのより深い理解とより効果的な利用が促進されることが実証されました。
特に、私たちの分析により、私たちのアプローチによって洗練されたツールのドキュメントが堅牢なクロスモデル一般化機能を実証していることが明らかになりました。

要約(オリジナル)

Tool learning enables Large Language Models (LLMs) to interact with external environments by invoking tools, serving as an effective strategy to mitigate the limitations inherent in their pre-training data. In this process, tool documentation plays a crucial role by providing usage instructions for LLMs, thereby facilitating effective tool utilization. This paper concentrates on the critical challenge of bridging the comprehension gap between LLMs and external tools due to the inadequacies and inaccuracies inherent in existing human-centric tool documentation. We propose a novel framework, DRAFT, aimed at Dynamically Refining tool documentation through the Analysis of Feedback and Trails emanating from LLMs’ interactions with external tools. This methodology pivots on an innovative trial-and-error approach, consisting of three distinct learning phases: experience gathering, learning from experience, and documentation rewriting, to iteratively enhance the tool documentation. This process is further optimized by implementing a diversity-promoting exploration strategy to ensure explorative diversity and a tool-adaptive termination mechanism to prevent overfitting while enhancing efficiency. Extensive experiments on multiple datasets demonstrate that DRAFT’s iterative, feedback-based refinement significantly ameliorates documentation quality, fostering a deeper comprehension and more effective utilization of tools by LLMs. Notably, our analysis reveals that the tool documentation refined via our approach demonstrates robust cross-model generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google