Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases

要約

ツールを備えたエージェント (LLM) の最近の進歩により、安全なデータベース対話やマルチエージェント コード開発などの複雑なタスクが可能になりました。
ただし、エージェントの推論やモデルの制限を超えてツールの容量を拡張することは依然として課題です。
このペーパーでは、強化されたツール表現を保存し、大規模なツールを装備したエージェントのツール選択を最適化するように設計されたツール知識ベース (ベクトル データベース) である Toolshed Knowledge Bases を導入することで、これらの課題に対処します。
さらに、モデルの微調整を必要とせずに、取得前、取得中、取得後のフェーズにわたってツールを適用した高度な取得拡張生成 (RAG) 技術の新しいアンサンブルである Advanced RAG-Tool Fusion を提案します。
事前取得中に、ツール ドキュメントは重要な情報で強化され、Toolshed Knowledge Base に保存されます。
イントラ検索は、検索の精度を高めるためのクエリの計画と変換に重点を置いています。
取得後は、取得したツールドキュメントを改良し、自己反映を可能にします。
さらに、エージェントがアクセスできるツールの総数 (tool-M) とツール選択のしきい値 (top-k) の両方を変更することで、取得精度、エージェントのパフォーマンス、トークン コストの間のトレードオフに対処します。
私たちのアプローチは、ToolE シングルツール、ToolE マルチツール、および Seal-Tools ベンチマーク データセットでそれぞれ 46%、56%、および 47% の絶対的な改善を達成しました (Recall@5)。

要約(オリジナル)

Recent advancements in tool-equipped Agents (LLMs) have enabled complex tasks like secure database interactions and multi-agent code development. However, scaling tool capacity beyond agent reasoning or model limits remains a challenge. In this paper, we address these challenges by introducing Toolshed Knowledge Bases, a tool knowledge base (vector database) designed to store enhanced tool representations and optimize tool selection for large-scale tool-equipped Agents. Additionally, we propose Advanced RAG-Tool Fusion, a novel ensemble of tool-applied advanced retrieval-augmented generation (RAG) techniques across the pre-retrieval, intra-retrieval, and post-retrieval phases, without requiring model fine-tuning. During pre-retrieval, tool documents are enhanced with key information and stored in the Toolshed Knowledge Base. Intra-retrieval focuses on query planning and transformation to increase retrieval accuracy. Post-retrieval refines the retrieved tool documents and enables self-reflection. Furthermore, by varying both the total number of tools (tool-M) an Agent has access to and the tool selection threshold (top-k), we address trade-offs between retrieval accuracy, agent performance, and token cost. Our approach achieves 46%, 56%, and 47% absolute improvements on the ToolE single-tool, ToolE multi-tool and Seal-Tools benchmark datasets, respectively (Recall@5).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google