Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents

要約

現在の言語モデル駆動のエージェントには、効果的なユーザー参加のためのメカニズムが欠けていることがよくありますが、ユーザーの指示によく見られる曖昧さを考えると、これは非常に重要です。
これらのエージェントは、戦略を立ててタスクを実行することに熟達していますが、明確化を求めたり、ユーザーの意図を正確に把握したりすることに苦労しています。
このギャップを埋めるために、明示的なクエリを通じてユーザーの暗黙の意図を検査するように設計された新しいベンチマークである Intention-in-Interaction (IN3) を導入します。
次に、ユーザーとエージェントの対話を強化するために、エージェント設計の上流としてモデルの専門家を組み込むことを提案します。
IN3 を使用して、下流エージェントのタスクの実行を開始する前に、タスクの曖昧さを積極的に評価し、ユーザーの意図を調査し、実行可能な目標に絞り込む強力なモデルである Mistral-Interact を経験的にトレーニングします。
これを XAgent フレームワークに統合することで、ユーザー指示の理解と実行に関して強化されたエージェント システムを包括的に評価します。その結果、私たちのアプローチが、あいまいなユーザー タスクの特定、重要な欠落情報の回復と要約、正確で必要なエージェント実行目標の設定、およびタスクの最小化に特に優れていることが明らかになりました。
冗長なツールの使用により、全体の効率が向上します。
データとコードはすべて公開されています。

要約(オリジナル)

Current language model-driven agents often lack mechanisms for effective user participation, which is crucial given the vagueness commonly found in user instructions. Although adept at devising strategies and performing tasks, these agents struggle with seeking clarification and grasping precise user intentions. To bridge this gap, we introduce Intention-in-Interaction (IN3), a novel benchmark designed to inspect users’ implicit intentions through explicit queries. Next, we propose the incorporation of model experts as the upstream in agent designs to enhance user-agent interaction. Employing IN3, we empirically train Mistral-Interact, a powerful model that proactively assesses task vagueness, inquires user intentions, and refines them into actionable goals before starting downstream agent task execution. Integrating it into the XAgent framework, we comprehensively evaluate the enhanced agent system regarding user instruction understanding and execution, revealing that our approach notably excels at identifying vague user tasks, recovering and summarizing critical missing information, setting precise and necessary agent execution goals, and minimizing redundant tool usage, thus boosting overall efficiency. All the data and codes are released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google