SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion Prediction

要約

複数人の動きの予測は、特に個々の動きと社会的相互作用の共同表現学習において、依然として困難な問題です。
従来の方法のほとんどは、個々のモーションのローカル ポーズ ダイナミクスを学習するだけであり (グローバルな身体の軌跡を含まない)、社会的相互作用の複雑な相互作用の依存関係を把握するのにも苦労していました。
この論文では、個々の動きと社会的相互作用を共同で効果的にモデル化するための新しいソーシャル認識モーショントランスフォーマー（SoMoFormer）を提案します。
具体的には、SoMoFormer は、変位軌跡空間のサブシーケンスからモーション機能を抽出して、各個人のローカルおよびグローバルの両方のポーズ ダイナミクスを効果的に学習します。
さらに、SoMoFormer でソーシャルを意識した新しい動き注意メカニズムを考案し、ダイナミクス表現をさらに最適化し、時間と社会的次元にわたる動きの類似性計算を介して相互作用の依存関係を同時にキャプチャします。
短期的および長期的な視野の両方で、複数人のモーション データセットに関するフレームワークを経験的に評価し、私たちの方法が最先端の単一および複数人のモーション予測方法よりもはるかに優れていることを実証します。
コードは承認され次第、公開されます。

要約(オリジナル)

Multi-person motion prediction remains a challenging problem, especially in the joint representation learning of individual motion and social interactions. Most prior methods only involve learning local pose dynamics for individual motion (without global body trajectory) and also struggle to capture complex interaction dependencies for social interactions. In this paper, we propose a novel Social-Aware Motion Transformer (SoMoFormer) to effectively model individual motion and social interactions in a joint manner. Specifically, SoMoFormer extracts motion features from sub-sequences in displacement trajectory space to effectively learn both local and global pose dynamics for each individual. In addition, we devise a novel social-aware motion attention mechanism in SoMoFormer to further optimize dynamics representations and capture interaction dependencies simultaneously via motion similarity calculation across time and social dimensions. On both short- and long-term horizons, we empirically evaluate our framework on multi-person motion datasets and demonstrate that our method greatly outperforms state-of-the-art methods of single- and multi-person motion prediction. Code will be made publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google