HTNet: Human Topology Aware Network for 3D Human Pose Estimation

要約

人間の 3D 姿勢推定エラーは、人体トポロジーに沿って伝播し、四肢の末端関節に蓄積されます。
自動制御システムのバックトラッキング メカニズムに着想を得て、パーツ レベルでエンド ジョイントのトポロジー制約を構築するための参照として親ノードを利用するパーツ内制約モジュールを設計します。
人間のトポロジの階層をさらに考慮すると、関節レベルと身体レベルの依存関係は、それぞれグラフ畳み込みネットワークと自己注意を介してキャプチャされます。
これらの設計に基づいて、新しいヒューマン トポロジー対応ネットワーク (HTNet) を提案します。これは、チャネル分割プログレッシブ戦略を採用して、複数のセマンティック レベル (ジョイント、パーツ、ボディ) からヒューマン トポロジーの構造的優先順位を順次学習します。
広範な実験により、提案された方法が四肢の端関節で推定精度を 18.7% 向上させ、Human3.6M および MPI-INF-3DHP データセットで最先端の結果を達成することが示されています。
コードは https://github.com/vefalun/HTNet で入手できます。

要約(オリジナル)

3D human pose estimation errors would propagate along the human body topology and accumulate at the end joints of limbs. Inspired by the backtracking mechanism in automatic control systems, we design an Intra-Part Constraint module that utilizes the parent nodes as the reference to build topological constraints for end joints at the part level. Further considering the hierarchy of the human topology, joint-level and body-level dependencies are captured via graph convolutional networks and self-attentions, respectively. Based on these designs, we propose a novel Human Topology aware Network (HTNet), which adopts a channel-split progressive strategy to sequentially learn the structural priors of the human topology from multiple semantic levels: joint, part, and body. Extensive experiments show that the proposed method improves the estimation accuracy by 18.7% on the end joints of limbs and achieves state-of-the-art results on Human3.6M and MPI-INF-3DHP datasets. Code is available at https://github.com/vefalun/HTNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google