AssistantX: An LLM-Powered Proactive Assistant in Collaborative Human-Populated Environment

要約

現在のサービスロボットは、限られた自然言語コミュニケーション能力、事前定義されたコマンドへの依存、継続的な人間の介入、特に人間人口の環境での積極的なコラボレーション認識の欠如に悩まされています。
これにより、適用性が狭くなり、ユーティリティが低くなります。
このペーパーでは、RealWorldシナリオで自動運転用に設計されたLLM駆動のプロアクティブなアシスタントであるAssistnXを紹介します。
AssistantXは、4つの専門LLMエージェントで構成されるマルチエージェントフレームワークを採用しています。それぞれが、認識、計画、意思決定、および反射的レビューに専念し、高度な推論機能と包括的なコラボレーション認識を促進します。
AssistantXを検証するための210の実世界のタスクのデータセットを作成しました。これには、関連する人員が利用可能かどうかに関する命令コンテンツとステータス情報が含まれます。
1か月半にわたって、テキストベースのシミュレーションと実際のオフィス環境の両方で広範な実験が行われました。
私たちの実験は、提案されたフレームワークの有効性を実証し、AssistantXがユーザーの指示に反応的に応答し、偶発性に適応するために戦略を積極的に調整し、タスクの完了を確実に確保するために人間からの支援を積極的に求めることができることを示しています。
詳細とビデオは、https：// AssistantX-Agentをご覧ください。
github.io/assistantx/。

要約(オリジナル)

Current service robots suffer from limited natural language communication abilities, heavy reliance on predefined commands, ongoing human intervention, and, most notably, a lack of proactive collaboration awareness in human-populated environments. This results in narrow applicability and low utility. In this paper, we introduce AssistantX, an LLM-powered proactive assistant designed for autonomous operation in realworld scenarios with high accuracy. AssistantX employs a multi-agent framework consisting of 4 specialized LLM agents, each dedicated to perception, planning, decision-making, and reflective review, facilitating advanced inference capabilities and comprehensive collaboration awareness, much like a human assistant by your side. We built a dataset of 210 real-world tasks to validate AssistantX, which includes instruction content and status information on whether relevant personnel are available. Extensive experiments were conducted in both text-based simulations and a real office environment over the course of a month and a half. Our experiments demonstrate the effectiveness of the proposed framework, showing that AssistantX can reactively respond to user instructions, actively adjust strategies to adapt to contingencies, and proactively seek assistance from humans to ensure successful task completion. More details and videos can be found at https://assistantx-agent. github.io/AssistantX/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google