HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes

要約

ヒューマン シーン インタラクション (HSI) に関する既存のデータセットの特性が平凡であるため、3D シーンでさまざまなシーンを認識し、目標指向の人間の動きを生成することを学習することは、依然として困難です。
スケール/品質が限られており、セマンティクスが不足しています。
ギャップを埋めるために、キャプチャされた人間の動きのシーケンスをさまざまな 3D 屋内シーンに合わせることにより、HUMANISE と呼ばれる大規模でセマンティックに富んだ合成 HSI データセットを提案します。
整列されたモーションに、シーン内のアクションと相互作用するユニークなオブジェクトを表す言語記述で自動的に注釈を付けます。
たとえば、机の近くの肘掛け椅子に座ります。
したがって、HUMANISE は、3D シーンでの言語条件付きの人間のモーション生成という新しい生成タスクを可能にします。
提案されたタスクは、3D シーン、人間の動き、および自然言語の共同モデリングを必要とするため、挑戦的です。
このタスクに取り組むために、指定されたオブジェクトと相互作用する望ましいアクションの3D人間の動きを生成できる、シーンと言語で調整された新しい生成モデルを提示します。
私たちの実験は、私たちのモデルが 3D シーンで多様で意味的に一貫した人間の動きを生成することを示しています。

要約(オリジナル)

Learning to generate diverse scene-aware and goal-oriented human motions in 3D scenes remains challenging due to the mediocre characteristics of the existing datasets on Human-Scene Interaction (HSI); they only have limited scale/quality and lack semantics. To fill in the gap, we propose a large-scale and semantic-rich synthetic HSI dataset, denoted as HUMANISE, by aligning the captured human motion sequences with various 3D indoor scenes. We automatically annotate the aligned motions with language descriptions that depict the action and the unique interacting objects in the scene; e.g., sit on the armchair near the desk. HUMANISE thus enables a new generation task, language-conditioned human motion generation in 3D scenes. The proposed task is challenging as it requires joint modeling of the 3D scene, human motion, and natural language. To tackle this task, we present a novel scene-and-language conditioned generative model that can produce 3D human motions of the desirable action interacting with the specified objects. Our experiments demonstrate that our model generates diverse and semantically consistent human motions in 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google