Stochastic Multi-Person 3D Motion Forecasting

要約

この論文は、人間の動作予測に関するこれまでの研究で無視されてきた現実世界の複雑さに対処することを目的としており、複数人の動作の社会的特性、動作と社会的相互作用の多様性、および関節動作の複雑さを強調しています。
この目的を達成するために、確率論的な複数人の 3D 動き予測という新しいタスクを導入します。
我々は、ローカルレベルでの独立した個人の動きとグローバルレベルでの社会的相互作用を別々にモデル化する二重レベルの生成モデリングフレームワークを提案します。
特に、この二重レベルのモデリング メカニズムは、将来の動作の意図を表す学習可能な潜在コードを導入し、さまざまなレベルでコードの動作モードを切り替えることにより、共有生成モデル内で実現できます。
私たちのフレームワークは一般的なものです。
私たちは、敵対的生成ネットワークや拡散モデル、さまざまな複数人予測モデルなど、さまざまな生成モデルを使用してそれをインスタンス化します。
CMU-Mocap、MuPoTS-3D、および SoMoF ベンチマークに関する広範な実験により、私たちのアプローチが多様で正確な複数人予測を生成し、最先端技術を大幅に上回ることが示されました。

要約(オリジナル)

This paper aims to deal with the ignored real-world complexities in prior work on human motion forecasting, emphasizing the social properties of multi-person motion, the diversity of motion and social interactions, and the complexity of articulated motion. To this end, we introduce a novel task of stochastic multi-person 3D motion forecasting. We propose a dual-level generative modeling framework that separately models independent individual motion at the local level and social interactions at the global level. Notably, this dual-level modeling mechanism can be achieved within a shared generative model, through introducing learnable latent codes that represent intents of future motion and switching the codes’ modes of operation at different levels. Our framework is general; we instantiate it with different generative models, including generative adversarial networks and diffusion models, and various multi-person forecasting models. Extensive experiments on CMU-Mocap, MuPoTS-3D, and SoMoF benchmarks show that our approach produces diverse and accurate multi-person predictions, significantly outperforming the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google