Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge

要約

私たちは、身体化されたエージェントの社会的認識と協力をテストするために設計された包括的な身体化された社会的インテリジェンスの課題である、制約された人間と AI の協力 (CHAIC) を紹介します。
CHAIC の目標は、自己中心的な観察を備えた具体化されたエージェントが、物理的な制約の下で活動している可能性のある人間 (たとえば、高いところに行けない、または車椅子での生活に制限されている) で一般的な家事や屋外の作業を効率的に実行できるように支援することです。
できるだけ。
これを達成するために、成功したヘルパーは、(1) 人間を追跡し、その行動 (社会的認識) を観察することによって、人間の意図と制約を推測し、(2) タスクをできるだけ早く解決するために人間のパートナーに合わせた協力計画を立てる必要があります。
可能な限りチームとして協力して作業します (共同計画)。
この課題のベンチマークとして、実際の物理的制約を持つ 4 つの新しいエージェントと、さまざまな制約、緊急事態、潜在的なリスクを伴う屋内と屋外の両方のシーンを特徴とする 8 つの長期タスクを作成します。
私たちは、この課題に関して計画ベースと学習ベースのベースラインをベンチマークし、大規模な言語モデルと行動モデリングを活用する新しい手法を導入します。
実証的評価は、マシン ソーシャル インテリジェンスの主要な側面の体系的な評価を可能にするベンチマークの有効性を実証しています。
私たちのベンチマークとコードは、URL: https://github.com/UMass-Foundation-Model/CHAIC で公開されています。

要約(オリジナル)

We introduce Constrained Human-AI Cooperation (CHAIC), an inclusive embodied social intelligence challenge designed to test social perception and cooperation in embodied agents. In CHAIC, the goal is for an embodied agent equipped with egocentric observations to assist a human who may be operating under physical constraints — e.g., unable to reach high places or confined to a wheelchair — in performing common household or outdoor tasks as efficiently as possible. To achieve this, a successful helper must: (1) infer the human’s intents and constraints by following the human and observing their behaviors (social perception), and (2) make a cooperative plan tailored to the human partner to solve the task as quickly as possible, working together as a team (cooperative planning). To benchmark this challenge, we create four new agents with real physical constraints and eight long-horizon tasks featuring both indoor and outdoor scenes with various constraints, emergency events, and potential risks. We benchmark planning- and learning-based baselines on the challenge and introduce a new method that leverages large language models and behavior modeling. Empirical evaluations demonstrate the effectiveness of our benchmark in enabling systematic assessment of key aspects of machine social intelligence. Our benchmark and code are publicly available at this URL: https://github.com/UMass-Foundation-Model/CHAIC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google