ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions

要約

3D ヒューマン モーション合成の現在のアプローチは、さまざまなアクションやジェスチャーを実行するデジタル ヒューマンの高品質アニメーションを生成します。
しかし、このパラダイム内での複数の人間の相互作用の複雑なダイナミクスに対処するには、注目すべき技術的なギャップが存在します。
この研究では、2 人のインタラクション シナリオで人の全身の反応運動を合成するノイズ除去拡散ベースのモデルである ReMoS を紹介します。
1 人の人の動きが与えられたと仮定すると、時空間クロスアテンションを組み合わせたメカニズムを使用して、2 人目の人の反応する身体と​​手の動きを合成し、それによって 2 人間のインタラクションを完了します。
私たちは、ペア ダンス、忍術、キックボクシング、アクロバットなど、一方の人の動きが他方に複雑かつ多様な影響を与える、難しい 2 人用のシナリオで ReMoS をデモンストレーションします。
また、全身と指の動きを含む 2 人のインタラクション用の ReMoCap データセットも提供しています。
複数の定量的指標、定性的視覚化、ユーザー調査を通じて ReMoS を評価し、インタラクティブなモーション編集アプリケーションでの使いやすさも示します。

要約(オリジナル)

Current approaches for 3D human motion synthesis generate high-quality animations of digital humans performing a wide variety of actions and gestures. However, a notable technological gap exists in addressing the complex dynamics of multi-human interactions within this paradigm. In this work, we present ReMoS, a denoising diffusion-based model that synthesizes full-body reactive motion of a person in a two-person interaction scenario. Assuming the motion of one person is given, we employ a combined spatio-temporal cross-attention mechanism to synthesize the reactive body and hand motion of the second person, thereby completing the interactions between the two. We demonstrate ReMoS across challenging two-person scenarios such as pair-dancing, Ninjutsu, kickboxing, and acrobatics, where one person’s movements have complex and diverse influences on the other. We also contribute the ReMoCap dataset for two-person interactions containing full-body and finger motions. We evaluate ReMoS through multiple quantitative metrics, qualitative visualizations, and a user study, and also indicate usability in interactive motion editing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google