要約
我々は、人間とヒューマノイドのインタラクションタスクに焦点を当てます。我々は、オンライン全身動作反応合成という新しいタスクを提案し、これは人間の俳優の動作に基づいてヒューマノイドの反応を生成する。これまでの研究では、物体を介さない人間とのインタラクションにのみ焦点を当て、手を使わずに体の反応を生成している。また、オンライン設定としてのタスクを考慮していないため、実用的な状況において、現在を超える情報を観察することができない。この課題を支援するために、我々はHHIとCoChairという2つのデータセットを構築し、統一的な手法を提案する。具体的には、社会的アフォーダンス表現を構築することを提案する。まず、社会的アフォーダンスキャリアを選択し、SE(3)-Equivariant Neural Networksを用いてキャリアのローカルフレームを学習し、社会的アフォーダンスを正規化する。さらに、リアクターが想像された未来に基づいて予測することを可能にする社会的アフォーダンス予測スキームを提案する。実験により、我々の手法がHHIとCoChairにおいて効果的に質の高いリアクションを生成できることを示す。さらに、既存の人間相互作用データセットであるInterhumanとChi3Dでも本手法を検証する。
要約(オリジナル)
We focus on the human-humanoid interaction task optionally with an object. We propose a new task named online full-body motion reaction synthesis, which generates humanoid reactions based on the human actor’s motions. The previous work only focuses on human interaction without objects and generates body reactions without hand. Besides, they also do not consider the task as an online setting, which means the inability to observe information beyond the current moment in practical situations. To support this task, we construct two datasets named HHI and CoChair and propose a unified method. Specifically, we propose to construct a social affordance representation. We first select a social affordance carrier and use SE(3)-Equivariant Neural Networks to learn the local frame for the carrier, then we canonicalize the social affordance. Besides, we propose a social affordance forecasting scheme to enable the reactor to predict based on the imagined future. Experiments demonstrate that our approach can effectively generate high-quality reactions on HHI and CoChair. Furthermore, we also validate our method on existing human interaction datasets Interhuman and Chi3D.
arxiv情報
| 著者 | Yunze Liu,Changxi Chen,Li Yi |
| 発行日 | 2024-02-05 13:39:03+00:00 |
| arxivサイト | arxiv_id(pdf) |