SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis

要約

現実的な人間とオブジェクトの相互作用の動きを統合することは、VR/ARと人間のアニメーションの重要な問題です。
1つのオブジェクトと相互作用する単一の人間または手を含む一般的に調査されたシナリオとは異なり、任意の数の人間、手、およびオブジェクトを備えたより一般的なマルチボディ設定に対処します。
この複雑さは、身体間の高い相関と相互の影響により、同期する動きに大きな課題をもたらします。
これらの課題に対処するために、同期された運動拡散戦略を使用して、マルチボディ相互作用合成の新しい方法であるSyncdiffを紹介します。
SyncDiffは、単一の拡散モデルを採用して、多体運動の共同分布をキャプチャします。
モーションフィデリティを強化するために、周波数ドメインモーション分解スキームを提案します。
さらに、さまざまな身体運動の同期を強調するために、新しい一連のアライメントスコアを導入します。
Syncdiffは、明示的な同期戦略を通じて、データサンプルの尤度と整列尤度の両方を共同で最適化します。
さまざまなマルチボディ構成を備えた4つのデータセットにわたる広範な実験は、既存の最先端のモーション合成方法よりも同期の優位性を示しています。

要約(オリジナル)

Synthesizing realistic human-object interaction motions is a critical problem in VR/AR and human animation. Unlike the commonly studied scenarios involving a single human or hand interacting with one object, we address a more generic multi-body setting with arbitrary numbers of humans, hands, and objects. This complexity introduces significant challenges in synchronizing motions due to the high correlations and mutual influences among bodies. To address these challenges, we introduce SyncDiff, a novel method for multi-body interaction synthesis using a synchronized motion diffusion strategy. SyncDiff employs a single diffusion model to capture the joint distribution of multi-body motions. To enhance motion fidelity, we propose a frequency-domain motion decomposition scheme. Additionally, we introduce a new set of alignment scores to emphasize the synchronization of different body motions. SyncDiff jointly optimizes both data sample likelihood and alignment likelihood through an explicit synchronization strategy. Extensive experiments across four datasets with various multi-body configurations demonstrate the superiority of SyncDiff over existing state-of-the-art motion synthesis methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google