BeLFusion: Latent Diffusion for Behavior-Driven Human Motion Prediction

要約

確率的人体運動予測（HMP）は、一般に、生成的敵対ネットワークと変分オートエンコーダで取り組まれてきた。しかし、このような予測手法では、関節のばらつきが大きいため、高速で多様な動きを予測することは困難である。このため、高速で運動分岐のある動きを予測する手法が開発されたが、これはしばしば非現実的であり、過去の動きと支離滅裂である。また、関節の微妙な変位を伴う低域の多様な行動（アクション）を予測する必要があるコンテキストを無視した手法である。BeLFusionは、HMPの潜在的な拡散モデルを活用し、動作と姿勢・運動が分離された潜在的な空間からサンプリングするモデルです。その結果、行動の観点から多様性が促進されます。BeLFusionの予測は、サンプリングされた振る舞いを進行中のモーションに転送するビヘイビアカプラーの機能により、従来の技術よりも大幅にリアルな様々な振る舞いを表示します。これをサポートするために、累積運動分布の面積と平均ペア距離誤差という2つの指標を導入しました。これらは、126人の参加者を対象とした定性的調査によるリアリズムの定義と相関しています。最後に、確率的HMPのための新しいクロスデータセットシナリオで、BeLFusionの一般化能力を証明する。

要約(オリジナル)

Stochastic human motion prediction (HMP) has generally been tackled with generative adversarial networks and variational autoencoders. Most prior works aim at predicting highly diverse movements in terms of the skeleton joints’ dispersion. This has led to methods predicting fast and motion-divergent movements, which are often unrealistic and incoherent with past motion. Such methods also neglect contexts that need to anticipate diverse low-range behaviors, or actions, with subtle joint displacements. To address these issues, we present BeLFusion, a model that, for the first time, leverages latent diffusion models in HMP to sample from a latent space where behavior is disentangled from pose and motion. As a result, diversity is encouraged from a behavioral perspective. Thanks to our behavior coupler’s ability to transfer sampled behavior to ongoing motion, BeLFusion’s predictions display a variety of behaviors that are significantly more realistic than the state of the art. To support it, we introduce two metrics, the Area of the Cumulative Motion Distribution, and the Average Pairwise Distance Error, which are correlated to our definition of realism according to a qualitative study with 126 participants. Finally, we prove BeLFusion’s generalization power in a new cross-dataset scenario for stochastic HMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL