ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions

要約

3D ヒューマン モーション合成の現在のアプローチでは、さまざまなアクションやジェスチャーを実行するデジタル ヒューマンの高品質 3D アニメーションを生成できます。
しかし、このパラダイム内での複数の人間の相互作用の複雑なダイナミクスに対処するには、依然として顕著な技術的ギャップが存在します。
この研究では、2 人のインタラクションを調査するリアクティブ モーション合成のためのノイズ除去拡散ベースの確率モデルである ReMoS を紹介します。
1 人の人の動きを考慮して、2 人目の人の反応的な動きを合成して、2 人間のインタラクションを完成させます。
全身の動きの合成に加えて、もっともらしい手のインタラクションも合成します。
ペアダンス、忍術、キックボクシング、アクロバットなど、一方の人の動作がもう一方の動作に複雑かつ多様な影響を与える、幅広い挑戦的な 2 人用シナリオでの ReMoS のパフォーマンスを示します。
さらに、全身と手の動きから構成される 2 人のインタラクション用の ReMoCap データセットを提案します。
私たちは、複数の定量的指標、定性的な視覚化、ユーザー調査を通じてアプローチを評価します。
私たちの結果はインタラクティブなアプリケーションで使用できると同時に、アニメーターに適切な量の制御を提供します。

要約(オリジナル)

Current approaches for 3D human motion synthesis can generate high-quality 3D animations of digital humans performing a wide variety of actions and gestures. However, there is still a notable technological gap in addressing the complex dynamics of multi-human interactions within this paradigm. In this work, we introduce ReMoS, a denoising diffusion-based probabilistic model for reactive motion synthesis that explores two-person interactions. Given the motion of one person, we synthesize the reactive motion of the second person to complete the interactions between the two. In addition to synthesizing the full-body motions, we also synthesize plausible hand interactions. We show the performance of ReMoS under a wide range of challenging two-person scenarios including pair-dancing, Ninjutsu, kickboxing, and acrobatics, where one person’s movements have complex and diverse influences on the motions of the other. We further propose the ReMoCap dataset for two-person interactions consisting of full-body and hand motions. We evaluate our approach through multiple quantitative metrics, qualitative visualizations, and a user study. Our results are usable in interactive applications while also providing an adequate amount of control for animators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google