Nonisotropic Gaussian Diffusion for Realistic 3D Human Motion Prediction

要約

確率的な人間の動きの予測は、過去の観察から将来起こり得る複数の動きを予測することを目的としています。
現在のアプローチでは、高い多様性と現実性が報告されていますが、検出されない手足の伸びや震えを伴うモーションが生成されることがよくあります。
これに対処するために、人体のアーキテクチャとトレーニング内に明示的な誘導バイアスを埋め込む潜在拡散モデルである SkeletonDiffusion を導入します。
私たちのモデルは、人間の骨格の自然な運動学的構造と一致する新しい非等方性ガウス拡散定式化を使用してトレーニングされています。
結果は、私たちのアプローチが従来の等方性代替手法よりも優れており、四肢の歪みなどのアーティファクトを回避しながら現実的な予測を一貫して生成できることを示しています。
さらに、一般的に使用される多様性メトリクスの制限が、同じシーケンス内で一貫性のない四肢の長さを生成するモデルを誤って有利にする可能性があることを特定しました。
SkeletonDiffusion は、3 つの現実世界のデータセットに新しいベンチマークを設定し、複数の評価指標にわたってさまざまなベースラインを上回ります。
プロジェクト ページにアクセスしてください: https://ceveloper.github.io/publications/skeletondiffusion/

要約(オリジナル)

Probabilistic human motion prediction aims to forecast multiple possible future movements from past observations. While current approaches report high diversity and realism, they often generate motions with undetected limb stretching and jitter. To address this, we introduce SkeletonDiffusion, a latent diffusion model that embeds an explicit inductive bias on the human body within its architecture and training. Our model is trained with a novel nonisotropic Gaussian diffusion formulation that aligns with the natural kinematic structure of the human skeleton. Results show that our approach outperforms conventional isotropic alternatives, consistently generating realistic predictions while avoiding artifacts such as limb distortion. Additionally, we identify a limitation in commonly used diversity metrics, which may inadvertently favor models that produce inconsistent limb lengths within the same sequence. SkeletonDiffusion sets a new benchmark on three real-world datasets, outperforming various baselines across multiple evaluation metrics. Visit our project page: https://ceveloper.github.io/publications/skeletondiffusion/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google