Spatio-Temporal Branching for Motion Prediction using Motion Increments

要約

人間の動作予測 (HMP) は、その多様な応用により人気の研究トピックとして浮上していますが、将来のポーズの確率的かつ非周期的な性質により、依然として困難な課題です。
従来の手法は手作りの機能と機械学習技術に依存しており、人間の動きの複雑なダイナミクスをモデル化するのに苦労することがよくあります。
最近の深層学習ベースの手法は、動きの時空間表現を学習することで成功を収めていますが、これらのモデルは動きデータの信頼性を見落とすことがよくあります。
さらに、スケルトン ノードの時間的および空間的依存関係は異なります。
時間的関係は時間の経過に伴う動きの情報をキャプチャし、空間的関係は体の構造と異なるノード間の関係を記述します。
この論文では、HMP の増分情報を使用した新しい時空間分岐ネットワークを提案します。これは、時間領域と空間領域の特徴の学習を分離し、より多くの動き情報を抽出し、知識の蒸留を通じて相補的なクロスドメインの知識学習を実現します。
私たちのアプローチは、時間的特徴と空間的特徴を個別に抽出することにより、ノイズ干渉を効果的に低減し、動きを特徴付けるためのより表現力豊かな情報を提供します。
当社は標準の HMP ベンチマークでアプローチを評価し、予測精度の点で最先端の手法を上回っています。

要約(オリジナル)

Human motion prediction (HMP) has emerged as a popular research topic due to its diverse applications, but it remains a challenging task due to the stochastic and aperiodic nature of future poses. Traditional methods rely on hand-crafted features and machine learning techniques, which often struggle to model the complex dynamics of human motion. Recent deep learning-based methods have achieved success by learning spatio-temporal representations of motion, but these models often overlook the reliability of motion data. Additionally, the temporal and spatial dependencies of skeleton nodes are distinct. The temporal relationship captures motion information over time, while the spatial relationship describes body structure and the relationships between different nodes. In this paper, we propose a novel spatio-temporal branching network using incremental information for HMP, which decouples the learning of temporal-domain and spatial-domain features, extracts more motion information, and achieves complementary cross-domain knowledge learning through knowledge distillation. Our approach effectively reduces noise interference and provides more expressive information for characterizing motion by separately extracting temporal and spatial features. We evaluate our approach on standard HMP benchmarks and outperform state-of-the-art methods in terms of prediction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google