TCPFormer: Learning Temporal Correlation with Implicit Pose Proxy for 3D Human Pose Estimation

要約

最近のマルチフレームリフティング法は、3次元人体姿勢推定を支配している。しかし、これまでの手法は、2Dポーズシーケンス内の複雑な依存性を無視し、単一の時間相関を学習している。この制限を緩和するために、我々はTCPFormerを提案する。TCPFormerは、中間表現として暗黙のポーズプロキシを活用する。暗黙のポーズプロキシ内の各プロキシは、1つの時間相関を構築することができるため、人間の動きのより包括的な時間相関を学習するのに役立つ。具体的には、本手法は3つの主要コンポーネントから構成される：プロキシ更新モジュール（PUM）、プロキシ呼び出しモジュール（PIM）、プロキシ注意モジュール（PAM）である。PUMはまず、ポーズ特徴量を使用して暗黙のポーズプロキシを更新し、ポーズシーケンスから代表的な情報を格納できるようにします。次にPIMは、各ポーズのモーション・セマンティクスを強化するために、ポーズ・プロキシとポーズ・シーケンスを呼び出して統合します。最後に、PAMは、ポーズシーケンスとポーズプロキシ間の上記のマッピングを利用して、ポーズシーケンス全体の時間的相関を強化します。Human3.6MデータセットとMPI-INF-3DHPデータセットでの実験により、我々の提案するTCPFormerが従来の最先端手法を凌駕することが実証された。

要約(オリジナル)

Recent multi-frame lifting methods have dominated the 3D human pose estimation. However, previous methods ignore the intricate dependence within the 2D pose sequence and learn single temporal correlation. To alleviate this limitation, we propose TCPFormer, which leverages an implicit pose proxy as an intermediate representation. Each proxy within the implicit pose proxy can build one temporal correlation therefore helping us learn more comprehensive temporal correlation of human motion. Specifically, our method consists of three key components: Proxy Update Module (PUM), Proxy Invocation Module (PIM), and Proxy Attention Module (PAM). PUM first uses pose features to update the implicit pose proxy, enabling it to store representative information from the pose sequence. PIM then invocates and integrates the pose proxy with the pose sequence to enhance the motion semantics of each pose. Finally, PAM leverages the above mapping between the pose sequence and pose proxy to enhance the temporal correlation of the whole pose sequence. Experiments on the Human3.6M and MPI-INF-3DHP datasets demonstrate that our proposed TCPFormer outperforms the previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL