Rethinking Stateful Tool Use in Multi-Turn Dialogues: Benchmarks and Challenges

要約

ツールの使用の言語モデル（LMS）を評価する言語モデル（LMS）を評価する既存のベンチマークは、主にステートレス、単一ターンの相互作用、または1回のターンでのツール選択などの部分的な評価に焦点を当て、マルチターンアプリケーションでの相互作用の固有の状態のような性質を見下ろします。
このギャップを達成するために、3つの段階で6つの主要なタスクにわたって、ツール使用のライフサイクル全体に関連するステートフルツール相互作用を備えたマルチターンダイアログデータセットである\ texttt {dialogtool}を提案します。1）\ textit {ツール作成};
2）\ TextIT {Tool Utilization}：ツールの認識、ツール選択、ツール実行。
および3）\ textit {ロールと一貫性のある応答}：応答生成とロールプレイ。
さらに、\ texttt {virtualMobile}を構築します – 具体化された仮想モバイル評価環境であるAPI呼び出しをシミュレートし、作成したAPI \ footnoteの堅牢性を評価します{または、この論文ではそれらの間に有意な違いはありません。}。
これらのアーティファクトを活用して、13個の異なるオープンソースLLMと閉鎖型LLMについて包括的な評価を実施し、各段階で詳細な分析を提供し、既存の最先端のLLMが長い視野を超えてツールを使用するためにまだうまく機能できないことを明らかにします。

要約(オリジナル)

Existing benchmarks that assess Language Models (LMs) as Language Agents (LAs) for tool use primarily focus on stateless, single-turn interactions or partial evaluations, such as tool selection in a single turn, overlooking the inherent stateful nature of interactions in multi-turn applications. To fulfill this gap, we propose \texttt{DialogTool}, a multi-turn dialogue dataset with stateful tool interactions considering the whole life cycle of tool use, across six key tasks in three stages: 1) \textit{tool creation}; 2) \textit{tool utilization}: tool awareness, tool selection, tool execution; and 3) \textit{role-consistent response}: response generation and role play. Furthermore, we build \texttt{VirtualMobile} — an embodied virtual mobile evaluation environment to simulate API calls and assess the robustness of the created APIs\footnote{We will use tools and APIs alternatively, there are no significant differences between them in this paper.}. Taking advantage of these artifacts, we conduct comprehensive evaluation on 13 distinct open- and closed-source LLMs and provide detailed analysis at each stage, revealing that the existing state-of-the-art LLMs still cannot perform well to use tools over long horizons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google