SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis

要約

現実的な人間とオブジェクトのインタラクション モーションを合成することは、VR/AR およびヒューマン アニメーションにおいて重要な問題です。
1 人の人間または手が 1 つのオブジェクトと対話する一般的に研究されているシナリオとは異なり、私たちは任意の数の人間、手、およびオブジェクトを含むより一般的なマルチボディ設定に取り組みます。
この複雑さにより、物体間の高い相関性と相互影響により、動きを同期させる際に大きな課題が生じます。
これらの課題に対処するために、同期モーション拡散戦略を使用したマルチボディ インタラクション合成の新しい方法である SyncDiff を紹介します。
SyncDiff は、単一の拡散モデルを使用して、複数のボディの動きの共同分布をキャプチャします。
動きの忠実度を高めるために、周波数領域の動き分解スキームを提案します。
さらに、さまざまな体の動きの同期を強調するために、新しいアライメント スコアのセットを導入します。
SyncDiff は、明示的な同期戦略を通じて、データ サンプルの可能性とアライメントの可能性の両方を共同で最適化します。
さまざまなマルチボディ構成を使用した 4 つのデータセットにわたる広範な実験により、既存の最先端のモーション合成手法に対する SyncDiff の優位性が実証されました。

要約(オリジナル)

Synthesizing realistic human-object interaction motions is a critical problem in VR/AR and human animation. Unlike the commonly studied scenarios involving a single human or hand interacting with one object, we address a more generic multi-body setting with arbitrary numbers of humans, hands, and objects. This complexity introduces significant challenges in synchronizing motions due to the high correlations and mutual influences among bodies. To address these challenges, we introduce SyncDiff, a novel method for multi-body interaction synthesis using a synchronized motion diffusion strategy. SyncDiff employs a single diffusion model to capture the joint distribution of multi-body motions. To enhance motion fidelity, we propose a frequency-domain motion decomposition scheme. Additionally, we introduce a new set of alignment scores to emphasize the synchronization of different body motions. SyncDiff jointly optimizes both data sample likelihood and alignment likelihood through an explicit synchronization strategy. Extensive experiments across four datasets with various multi-body configurations demonstrate the superiority of SyncDiff over existing state-of-the-art motion synthesis methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google