‘Teaching Independent Parts Separately’ (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation

要約

TIPSy-GAN は、教師なし敵対的 2D から 3D の人間の姿勢推定の精度と安定性を向上させる新しいアプローチです。
私たちの仕事では、人間の運動学的骨格が単一の空間的に共依存する構造と見なされるべきではないことを示しています。
実際、トレーニング中に完全な 2D ポーズが提供されると、キーポイントの 3D 座標が他のすべてのキーポイントの 2D 座標に空間的に共依存する固有のバイアスが学習されると仮定します。
仮説を調査するために、以前の敵対的アプローチに従いますが、運動学的骨格の空間的に独立した部分である胴体と脚で2つのジェネレーターをトレーニングします。
自己一貫性サイクルを改善することが評価エラーを下げるための鍵であり、したがってトレーニング中に新しい一貫性制約を導入することがわかりました。
TIPSy モデルは、2D ポーズ全体の 3D 縦座標を予測して結果を向上させることができるこれらのジェネレーターからの知識の蒸留によって生成されます。
さらに、真に教師なしのシナリオでどのくらいの期間トレーニングするかという、以前の研究で未回答の質問に対処します。
2 つの独立した発電機の場合、敵対的にトレーニングすると、崩壊する単独の発電機よりも安定性が向上することを示します。
TIPSy は、Human3.6M データセットのベースライン ソロ ジェネレーターと比較して、平均エラーを 17\% 減少させます。
TIPSy は、Human3.6M データセットと MPI-INF-3DHP データセットの両方での評価中に、教師ありおよび弱教師ありのアプローチに対しても強力に実行しながら、他の教師なしアプローチを改善します。

要約(オリジナル)

We present TIPSy-GAN, a new approach to improve the accuracy and stability in unsupervised adversarial 2D to 3D human pose estimation. In our work we demonstrate that the human kinematic skeleton should not be assumed as a single spatially codependent structure; in fact, we posit when a full 2D pose is provided during training, there is an inherent bias learned where the 3D coordinate of a keypoint is spatially codependent on the 2D coordinates of all other keypoints. To investigate our hypothesis we follow previous adversarial approaches but train two generators on spatially independent parts of the kinematic skeleton, the torso and the legs. We find that improving the self-consistency cycle is key to lowering the evaluation error and therefore introduce new consistency constraints during training. A TIPSy model is produced via knowledge distillation from these generators which can predict the 3D ordinates for the entire 2D pose with improved results. Furthermore, we address an unanswered question in prior work of how long to train in a truly unsupervised scenario. We show that for two independent generators training adversarially has improved stability than that of a solo generator which collapses. TIPSy decreases the average error by 17\% when compared to that of a baseline solo generator on the Human3.6M dataset. TIPSy improves upon other unsupervised approaches while also performing strongly against supervised and weakly-supervised approaches during evaluation on both the Human3.6M and MPI-INF-3DHP datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google