Making Language Models Better Tool Learners with Execution Feedback

要約

ツールは、人間が世界を理解し、再構築できるようにする極めて重要なインターフェイスとして機能します。
基礎モデルの出現により、AI システムはツールを利用して機能を拡張し、世界と対話できるようになります。
教師あり微調整や迅速なエンジニアリングアプローチを含む既存のツール学習方法論では、複雑な問題が自らの能力を超えることが多いため、言語モデルが無差別にツールを利用するようになることがよくあります。
ただし、モデル自体がすぐに解決できる単純なタスク用のツールを導入すると、パフォーマンスが向上するのではなく、誤ってエラーが伝播する可能性があります。
これは、言語モデルにいつ、どのようにツールを使用するかを教えることができるかという研究課題につながります。
このニーズを満たすために、私たちは、ツールの実行から得られるフィードバックを通じてモデルが継続的に学習できるようにする 2 段階のエンドツーエンド フレームワークである、実行フィードバックを使用したツール学習 (TRICE) を提案します。これにより、ツールをいつどのように効果的に使用するかを学習できます。
さらなる分析に裏付けられた実験結果は、TRICE がパフォーマンスを向上させながらツールへのモデルの依存性を減らすことにより、言語モデルがツールを選択的に使用できるようにできることを示しています。
コードとデータセットは https://github.com/zjunlp/trice で入手できます。

要約(オリジナル)

Tools serve as pivotal interfaces that enable humans to understand and reshape the world. With the advent of foundational models, AI systems can utilize tools to expand their capabilities and interact with the world. Existing tool learning methodologies, encompassing supervised fine-tuning and prompt engineering approaches, often induce language models to utilize tools indiscriminately, as complex problems often exceed their own competencies. However, introducing tools for simple tasks, which the models themselves can readily resolve, can inadvertently propagate errors rather than enhance performance. This leads to the research question: can we teach language models when and how to use tools? To meet this need, we propose Tool leaRning wIth exeCution fEedback (TRICE), a two-stage end-to-end framework that enables the model to continually learn through feedback derived from tool execution, thereby learning when and how to use tools effectively. Experimental results, backed by further analysis, show that TRICE can make the language model to selectively use tools by decreasing the model’s dependency on tools while enhancing the performance. Code and datasets will be available in https://github.com/zjunlp/trice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google