AnyTool: Self-Reflective, Hierarchical Agents for Large-Scale API Calls

要約

AnyTool は、ユーザーのクエリに対処する際の膨大なツールの利用に革命を起こすように設計された大規模な言語モデル エージェントです。
当社は Rapid API の 16,000 以上の API を利用しており、これらの API のサブセットがクエリを解決できる可能性があるという想定に基づいて運用されています。
AnyTool には主に 3 つの要素が組み込まれています。階層構造を持つ API 取得者、選択された API 候補のセットを使用してユーザー クエリを解決することを目的としたソルバー、および最初の解決策が実行不可能であることが判明した場合に AnyTool を再アクティブ化する自己反映メカニズムです。
AnyTool は GPT-4 の関数呼び出し機能を利用しているため、外部モジュールをトレーニングする必要がありません。
また、以前の研究で導入された評価プロトコルを再検討し、人為的に高い合格率をもたらすこのプロトコルの制限を特定します。
実際のアプリケーション シナリオをより適切に反映するように評価プロトコルを改訂することで、AnyToolBench と呼ばれる追加のベンチマークを導入します。
さまざまなデータセットにわたる実験により、ToolLLM やツールの利用に合わせて調整された GPT-4 バリアントなどの強力なベースラインよりも、AnyTool の優位性が実証されています。
たとえば、ToolBench の平均合格率の点では、AnyTool は ToolLLM を +35.4% 上回っています。
コードは https://github.com/dyabel/AnyTool で入手できます。

要約(オリジナル)

We introduce AnyTool, a large language model agent designed to revolutionize the utilization of a vast array of tools in addressing user queries. We utilize over 16,000 APIs from Rapid API, operating under the assumption that a subset of these APIs could potentially resolve the queries. AnyTool primarily incorporates three elements: an API retriever with a hierarchical structure, a solver aimed at resolving user queries using a selected set of API candidates, and a self-reflection mechanism, which re-activates AnyTool if the initial solution proves impracticable. AnyTool is powered by the function calling feature of GPT-4, eliminating the need for training external modules. We also revisit the evaluation protocol introduced by previous works and identify a limitation in this protocol that leads to an artificially high pass rate. By revising the evaluation protocol to better reflect practical application scenarios, we introduce an additional benchmark, termed AnyToolBench. Experiments across various datasets demonstrate the superiority of our AnyTool over strong baselines such as ToolLLM and a GPT-4 variant tailored for tool utilization. For instance, AnyTool outperforms ToolLLM by +35.4% in terms of average pass rate on ToolBench. Code will be available at https://github.com/dyabel/AnyTool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google