PoseGraphNet++: Enriching 3D Human Pose with Orientation Estimation

要約

既存のスケルトンベースの 3D 人間の姿勢推定方法は、関節の位置を予測するだけです。
骨の回転のヨーとピッチは関節の位置から導き出すことができますが、骨の軸の周りの回転は未解決のままです。
我々は、関節の位置や骨の方向を含む人間の完全な姿勢を 3D で予測する、新しい 2D から 3D へのリフティング グラフ畳み込みネットワークである PoseGraphNet++ (PGN++) を紹介します。
ノードとエッジの両方の畳み込みを使用して、ジョイントとボーンの特徴を利用します。
私たちのモデルは、位置と回転の両方のメトリクスを使用して複数のデータセットで評価されます。
PGN++ は、Human3.6M ベンチマークで最先端 (SoA) と同等のパフォーマンスを示します。
一般化実験では、位置において最良の結果が得られ、方向において SoA と一致し、現在の SoA よりもバランスの取れたパフォーマンスを示しています。
PGN++ は関節と骨の相互関係を利用し、アブレーション結果が示すように位置予測を大幅に \SB{改善} します。

要約(オリジナル)

Existing skeleton-based 3D human pose estimation methods only predict joint positions. Although the yaw and pitch of bone rotations can be derived from joint positions, the roll around the bone axis remains unresolved. We present PoseGraphNet++ (PGN++), a novel 2D-to-3D lifting Graph Convolution Network that predicts the complete human pose in 3D including joint positions and bone orientations. We employ both node and edge convolutions to utilize the joint and bone features. Our model is evaluated on multiple datasets using both position and rotation metrics. PGN++ performs on par with the state-of-the-art (SoA) on the Human3.6M benchmark. In generalization experiments, it achieves the best results in position and matches the SoA in orientation, showcasing a more balanced performance than the current SoA. PGN++ exploits the mutual relationship of joints and bones resulting in significantly \SB{improved} position predictions, as shown by our ablation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google