From Strangers to Assistants: Fast Desire Alignment for Embodied Agent-User Adaptation

要約

具体化されたエージェントは複雑な物理的タスクの実行に大きな進歩を遂げていますが、実際のアプリケーションは純粋なタスクの実行よりも多くを必要とします。
エージェントは、なじみのないエージェントや人間のユーザーと協力する必要があります。その目標は、しばしばあいまいで暗黙的です。
このような設定では、曖昧な指示を解釈し、根本的な欲求を明らかにすることが、効果的な支援のために不可欠です。
したがって、高速かつ正確な欲求アライメントは、具体化されたエージェントにとって重要な能力になります。
この作業では、最初に、現実的な価値駆動型の目標の選択とコミュニケーションを示すLLM主導のヒューマンユーザーエージェントを統合するホームアシスタンスシミュレーション環境を開発します。
自我エージェントは、このプロキシユーザーと対話して、ユーザーの潜在的な欲求を推測して適応させる必要があります。
これを達成するために、私たちは、ユーザーの意図を特定し、欲望と傍観的なアクションをフィルタリングするための欲求に基づいた精神的推論メカニズムを導入する、速い欲望の整合性のための新しいフレームワークfamerを提示します。
さらに、リフレクションベースの通信モジュールを設計し、冗長な問い合わせを減らし、メモリの持続性を備えた目標関連の情報抽出を組み込み、情報の再利用を改善し、不必要な探索を減らします。
広範な実験は、このフレームワークがタスクの実行と通信効率の両方を大幅に向上させ、具体化されたエージェントが複雑な具体化された環境でユーザー固有の欲求に迅速に適応できるようにすることを示しています。

要約(オリジナル)

While embodied agents have made significant progress in performing complex physical tasks, real-world applications demand more than pure task execution. The agents must collaborate with unfamiliar agents and human users, whose goals are often vague and implicit. In such settings, interpreting ambiguous instructions and uncovering underlying desires is essential for effective assistance. Therefore, fast and accurate desire alignment becomes a critical capability for embodied agents. In this work, we first develop a home assistance simulation environment HA-Desire that integrates an LLM-driven human user agent exhibiting realistic value-driven goal selection and communication. The ego agent must interact with this proxy user to infer and adapt to the user’s latent desires. To achieve this, we present a novel framework FAMER for fast desire alignment, which introduces a desire-based mental reasoning mechanism to identify user intent and filter desire-irrelevant actions. We further design a reflection-based communication module that reduces redundant inquiries, and incorporate goal-relevant information extraction with memory persistence to improve information reuse and reduce unnecessary exploration. Extensive experiments demonstrate that our framework significantly enhances both task execution and communication efficiency, enabling embodied agents to quickly adapt to user-specific desires in complex embodied environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google