BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion Synthesis

要約

タイトル：BoDiffusion：フルボディの人間の動き合成のためのスパースな観測の拡散

要約：
– ミックスリアリティアプリケーションには、没入体験を可能にするために、ユーザーのフルボディーの動きをトラッキングする必要がある。
– しかし、一般的なヘッドマウントデバイスは、頭部と手の動きしか追跡できないため、下半身の構成の変動により、フルボディの動きの制限された再構築になる。
– 我々は、このアンダーコンストレインドな再構成問題に取り組むためのモーション合成のための生成性ディフュージョンモデルであるBoDiffusionを提案する。
– BoDiffusionは、スパースなトラッキング入力を活用しながら、滑らかでリアルなフルボディの動きシーケンスを生成するための時間と空間の条件付けスキームを提供する。
– BoDiffusionは、フルボディの追跡を条件つきシーケンス生成タスクとしてモデル化するために逆拡散プロセスを使用する初めてのアプローチである。
– 我々は、大規模なモーションキャプチャデータセットAMASSで実験を行い、我々のアプローチがフルボディの動きの現実性とジョイント再構成エラーの面で、他の最先端のアプローチを大幅に上回ることを示している。

要約(オリジナル)

Mixed reality applications require tracking the user’s full-body motion to enable an immersive experience. However, typical head-mounted devices can only track head and hand movements, leading to a limited reconstruction of full-body motion due to variability in lower body configurations. We propose BoDiffusion — a generative diffusion model for motion synthesis to tackle this under-constrained reconstruction problem. We present a time and space conditioning scheme that allows BoDiffusion to leverage sparse tracking inputs while generating smooth and realistic full-body motion sequences. To the best of our knowledge, this is the first approach that uses the reverse diffusion process to model full-body tracking as a conditional sequence generation task. We conduct experiments on the large-scale motion-capture dataset AMASS and show that our approach outperforms the state-of-the-art approaches by a significant margin in terms of full-body motion realism and joint reconstruction error.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI