MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use

要約

大規模言語モデル (LLM) は、その優れた自然言語処理 (NLP) 機能により大きな注目を集めています。
最近、LLM のツール利用能力に焦点を当てた研究が数多く行われています。
彼らは主に、LLM が特定のツールとどのように効果的に連携するかを調査しました。
ただし、AutoGPT や MetaGPT などのアプリケーションに見られるように、LLM がインテリジェント エージェントとして機能するシナリオでは、LLM は、ツールを採用するかどうかの決定や、ツールの中から最適なツールの選択など、複雑な意思決定プロセスに従事することが期待されます。
ユーザーのリクエストを満たすために利用可能なツールのコレクション。
そこで、本稿では、LLM がツールの使用状況を認識し、正しくツールを選択できるかどうかを評価するために設計されたベンチマークである MetaTool を紹介します。
具体的には、ベンチマーク内に ToolE というデータセットを作成します。
このデータセットには、単一ツールと複数ツールの両方のシナリオを含む、LLM がツールを使用するようトリガーするプロンプトの形式で、さまざまなタイプのユーザー クエリが含まれています。
次に、ツールの使用状況の認識とツールの選択の両方のタスクを設定します。
ツール選択におけるさまざまな観点から 4 つのサブタスクを定義します。これには、同様の選択肢があるツールの選択、特定のシナリオでのツールの選択、信頼性の問題が考えられるツールの選択、および複数のツールの選択が含まれます。
私たちは 8 つの人気のある LLM を対象とした実験を実施しましたが、その大部分が依然としてツールを効果的に選択するのに苦労していることがわかり、LLM と本物のインテリジェント エージェントの間に存在するギャップが浮き彫りになりました。
しかし、エラー分析を通じて、まだ改善の余地が大きいことがわかりました。
最後に、ツール開発者向けの洞察で締めくくります。ツール開発者には、ツールが適用されるダウンストリーム LLM に基づいて新しい記述を生成するための適切な書き換えモデルを選択することを強くお勧めします。
私たちのコードは https://github.com/HowieHwong/MetaTool にあります。

要約(オリジナル)

Large language models (LLMs) have garnered significant attention due to their impressive natural language processing (NLP) capabilities. Recently, many studies have focused on the tool utilization ability of LLMs. They primarily investigated how LLMs effectively collaborate with given specific tools. However, in scenarios where LLMs serve as intelligent agents, as seen in applications like AutoGPT and MetaGPT, LLMs are expected to engage in intricate decision-making processes that involve deciding whether to employ a tool and selecting the most suitable tool(s) from a collection of available tools to fulfill user requests. Therefore, in this paper, we introduce MetaTool, a benchmark designed to evaluate whether LLMs have tool usage awareness and can correctly choose tools. Specifically, we create a dataset called ToolE within the benchmark. This dataset contains various types of user queries in the form of prompts that trigger LLMs to use tools, including both single-tool and multi-tool scenarios. Subsequently, we set the tasks for both tool usage awareness and tool selection. We define four subtasks from different perspectives in tool selection, including tool selection with similar choices, tool selection in specific scenarios, tool selection with possible reliability issues, and multi-tool selection. We conduct experiments involving eight popular LLMs and find that the majority of them still struggle to effectively select tools, highlighting the existing gaps between LLMs and genuine intelligent agents. However, through the error analysis, we found there is still significant room for improvement. Finally, we conclude with insights for tool developers — we strongly recommend that tool developers choose an appropriate rewrite model for generating new descriptions based on the downstream LLM the tool will apply to. Our code is in https://github.com/HowieHwong/MetaTool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google