BeLFusion: Latent Diffusion for Behavior-Driven Human Motion Prediction

要約

確率的な人間の動きの予測 (HMP) は、一般に、敵対的生成ネットワークと変分オートエンコーダーで取り組まれてきました。
以前の研究のほとんどは、骨格関節の分散の観点から非常に多様な動きを予測することを目的としています。
これは、多くの場合、非現実的で過去の動きと一貫性がない、高速で動きが発散する動きを予測する方法につながりました。
このような方法では、微妙な関節の変位を伴う多様な低域の行動や行動を予測する必要があるコンテキストも無視されます。
これらの問題に対処するために、HMP の潜在拡散モデルを初めて活用して、動作がポーズやモーションから解きほぐされた潜在空間からサンプリングするモデルである BeLFusion を提示します。
その結果、行動の観点からダイバーシティが促進されます。
サンプリングされた動作を進行中のモーションに変換するビヘイビア カプラーの機能のおかげで、BeLFusion の予測は、最新技術よりもはるかに現実的なさまざまな動作を表示します。
それをサポートするために、累積モーション分布の面積と平均ペアワイズ距離エラーの 2 つのメトリックを導入します。これらは、126 人の参加者を対象とした定性調査によると、リアリズムの定義に相関しています。
最後に、確率的 HMP の新しいクロスデータセット シナリオで BeLFusion の一般化能力を証明します。

要約(オリジナル)

Stochastic human motion prediction (HMP) has generally been tackled with generative adversarial networks and variational autoencoders. Most prior works aim at predicting highly diverse movements in terms of the skeleton joints’ dispersion. This has led to methods predicting fast and motion-divergent movements, which are often unrealistic and incoherent with past motion. Such methods also neglect contexts that need to anticipate diverse low-range behaviors, or actions, with subtle joint displacements. To address these issues, we present BeLFusion, a model that, for the first time, leverages latent diffusion models in HMP to sample from a latent space where behavior is disentangled from pose and motion. As a result, diversity is encouraged from a behavioral perspective. Thanks to our behavior coupler’s ability to transfer sampled behavior to ongoing motion, BeLFusion’s predictions display a variety of behaviors that are significantly more realistic than the state of the art. To support it, we introduce two metrics, the Area of the Cumulative Motion Distribution, and the Average Pairwise Distance Error, which are correlated to our definition of realism according to a qualitative study with 126 participants. Finally, we prove BeLFusion’s generalization power in a new cross-dataset scenario for stochastic HMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google