Expressive Forecasting of 3D Whole-body Human Motions

要約

人間の動作予測は、一定期間における将来の人間の動作を推定することを目的としており、多くの実世界のアプリケーションにおいて基本的なタスクである。しかし、既存の研究は、一般的に、人間の手の繊細な動きを考慮することなく、人体の主要な関節の予測に集中している。実用的なアプリケーションにおいて、手のジェスチャーは現実世界と人間のコミュニケーションにおいて重要な役割を果たし、人間の主要な意思を表現する。本研究では、将来の身体と手の活動を共同で予測する、全身人間のポーズ予測タスクを初めて定式化する。これに対応して、我々は、粗い（身体関節）活動と細かい（ジェスチャー）活動の両方を協調的に予測することを目的とした、新しいエンコーディング-アライメント-インタラクション（EAI）フレームワークを提案し、3D全身人体運動の表現力豊かで横断的な予測を可能にする。具体的には、我々のモデルには2つの重要な構成要素が含まれる：クロスコンテキストアライメント（XCA）とクロスコンテキストインタラクション（XCI）である。XCAは、全身内の異種情報を考慮し、様々な人体構成要素の潜在的特徴を整合させることを目的とし、XCIは、人体構成要素間のコンテキスト相互作用を効果的に捉えることに重点を置く。新たに導入した大規模ベンチマークで広範な実験を行い、最先端の性能を達成した。コードは研究目的で https://github.com/Dingpx/EAI で公開されている。

要約(オリジナル)

Human motion forecasting, with the goal of estimating future human behavior over a period of time, is a fundamental task in many real-world applications. However, existing works typically concentrate on predicting the major joints of the human body without considering the delicate movements of the human hands. In practical applications, hand gesture plays an important role in human communication with the real world, and expresses the primary intention of human beings. In this work, we are the first to formulate a whole-body human pose forecasting task, which jointly predicts the future body and hand activities. Correspondingly, we propose a novel Encoding-Alignment-Interaction (EAI) framework that aims to predict both coarse (body joints) and fine-grained (gestures) activities collaboratively, enabling expressive and cross-facilitated forecasting of 3D whole-body human motions. Specifically, our model involves two key constituents: cross-context alignment (XCA) and cross-context interaction (XCI). Considering the heterogeneous information within the whole-body, XCA aims to align the latent features of various human components, while XCI focuses on effectively capturing the context interaction among the human components. We conduct extensive experiments on a newly-introduced large-scale benchmark and achieve state-of-the-art performance. The code is public for research purposes at https://github.com/Dingpx/EAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL