Towards more realistic human motion prediction with attention to motion coordination

要約

関節関係モデリングは、人間の動作予測における重要な要素である。既存の手法の多くは、関節関係を構築するために骨格ベースのグラフに依存しており、関節ペア間の局所的な相互作用関係はよく学習される。しかし、すべての関節の同時協調を反映するグローバルな関節関係である協調運動は、部分から全体へと漸進的かつ非同期的に学習されるため、通常弱くなります。そのため、最終的に予測される運動は非現実的なものとなる。この問題に対処するために、我々は協調アトラクタ（CA）と呼ばれる媒体を運動の時空間的特徴から学習し、大域的な運動の特徴を特徴付け、その後に新たな相対的関節関係を構築するために用いる。このCAにより、全ての関節が同時に関連付けられ、全ての関節の協調運動がより良く学習される。これに基づいて、我々はさらに新しい関節関係モデリングモジュール、包括的関節関係抽出器（Comprehensive Joint Relation Extractor：CJRE）を提案し、この運動協調と関節ペア間の局所的相互作用を統一的に組み合わせる。さらに、効果的な予測のために、生の位置情報からエンリッチされたダイナミクスを抽出するMulti-timescale Dynamics Extractor (MTDE)を提案する。広範な実験により、H3.6M、CMU-Mocap、3DPWにおいて、提案するフレームワークが、短期予測と長期予測の両方において、最先端の手法を凌駕することが示された。

要約(オリジナル)

Joint relation modeling is a curial component in human motion prediction. Most existing methods rely on skeletal-based graphs to build the joint relations, where local interactive relations between joint pairs are well learned. However, the motion coordination, a global joint relation reflecting the simultaneous cooperation of all joints, is usually weakened because it is learned from part to whole progressively and asynchronously. Thus, the final predicted motions usually appear unrealistic. To tackle this issue, we learn a medium, called coordination attractor (CA), from the spatiotemporal features of motion to characterize the global motion features, which is subsequently used to build new relative joint relations. Through the CA, all joints are related simultaneously, and thus the motion coordination of all joints can be better learned. Based on this, we further propose a novel joint relation modeling module, Comprehensive Joint Relation Extractor (CJRE), to combine this motion coordination with the local interactions between joint pairs in a unified manner. Additionally, we also present a Multi-timescale Dynamics Extractor (MTDE) to extract enriched dynamics from the raw position information for effective prediction. Extensive experiments show that the proposed framework outperforms state-of-the-art methods in both short- and long-term predictions on H3.6M, CMU-Mocap, and 3DPW.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL