PTR: Precision-Driven Tool Recommendation for Large Language Models

要約

大規模言語モデル (LLM) を外部ツールで強化することにより、複雑な問題を解決する能力が大幅に強化されました。
ただし、LLM の解析機能は進歩し続けていますが、使用可能なすべてのツールをプロンプトに同時に組み込むことは、膨大な数の外部ツールがあるため、依然として非現実的です。
したがって、量と質の両方を考慮して、特定のタスクに合わせて調整された正確なツール セットを LLM に提供することが不可欠です。
現在のツール検索方法は、主にツールのランキング リストを改良し、一定数の上位ランクのツールをツール セットとして直接パッケージ化することに重点を置いています。
ただし、これらのアプローチでは、タスクごとに最適なツールの数が異なる可能性があるため、実行前に LLM に最適なツールのセットを装備できないことがよくあり、その結果、冗長なツールや不適切なツールなどの非効率が生じ、最も関連性の高いツールへの即時アクセスが妨げられます。
ツール。
このペーパーでは、LLM に正確なツールセットを推奨するという課題に取り組みます。
ツール推奨の問題を紹介し、その範囲を定義し、新しい精度主導のツール推奨 (PTR) アプローチを提案します。
PTR は、過去のツール バンドルの使用状況を活用して初期の簡潔なツール セットをキャプチャし、ツール マッチングを実行してツール セットを動的に調整し、最終的にマルチビュー ベースのツールを追加します。
さらに、LLM に対するツール推奨の有効性を評価するために設計された新しいデータセット RecTools と指標 TRACC を紹介します。
さらに、包括的な実験を通じて設計の選択を検証し、2 つのオープン ベンチマークと RecTools データセットにわたって有望な精度を実証しました。

要約(オリジナル)

By augmenting Large Language Models (LLMs) with external tools, their capacity to solve complex problems has been significantly enhanced. However, despite ongoing advancements in the parsing capabilities of LLMs, incorporating all available tools simultaneously in the prompt remains impractical due to the vast number of external tools. Consequently, it is essential to provide LLMs with a precise set of tools tailored to the specific task, considering both quantity and quality. Current tool retrieval methods primarily focus on refining the ranking list of tools and directly packaging a fixed number of top-ranked tools as the tool set. However, these approaches often fail to equip LLMs with the optimal set of tools prior to execution, since the optimal number of tools for different tasks could be different, resulting in inefficiencies such as redundant or unsuitable tools, which impede immediate access to the most relevant tools. This paper addresses the challenge of recommending precise toolsets for LLMs. We introduce the problem of tool recommendation, define its scope, and propose a novel Precision-driven Tool Recommendation (PTR) approach. PTR captures an initial, concise set of tools by leveraging historical tool bundle usage and dynamically adjusts the tool set by performing tool matching, culminating in a multi-view-based tool addition. Additionally, we present a new dataset, RecTools, and a metric, TRACC, designed to evaluate the effectiveness of tool recommendation for LLMs. We further validate our design choices through comprehensive experiments, demonstrating promising accuracy across two open benchmarks and our RecTools dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google