Optimising 2D Pose Representation: Improve Accuracy, Stability and Generalisability Within Unsupervised 2D-3D Human Pose Estimation

要約

このホワイト ペーパーでは、教師なしの 2D から 3D へのポーズ リフティング中の 2D ポーズ表現の問題に対処し、3D 人間の姿勢推定 (HPE) モデルの精度、安定性、一般化可能性を向上させます。
すべての教師なし 2D-3D HPE アプローチは、トレーニング中に 2D キネマティック スケルトン全体をモデルに提供します。
これは、トレーニング中に独立した 2D キーポイントと予測された 3D 縦座標の間で長距離相関が誘導されるため、最適ではなく破壊的であると主張します。
そのために、以下の研究を行っています。
6 つの残余ブロックの最大アーキテクチャ容量を使用して、敵対的な教師なし 2D-3D HPE プロセス中に、それぞれが異なる 2D ポーズを表す 5 つのモデルのパフォーマンスを評価します。
さらに、トレーニング プロセス中に学習された 2D キー ポイント間の相関関係を示し、2D ポーズ全体がリフティング モデルに提供されるときに誘発される非直感的な相関関係を強調します。
私たちの結果は、2D ポーズの最も最適な表現は、胴体と脚の 2 つの独立したセグメントの表現であり、各リフティング ネットワーク間で特徴が共有されていないことを示しています。
このアプローチにより、2D キネマティック スケルトン全体でトレーニングされたほぼ同一のパラメーター数を持つモデルと比較した場合、Human3.6M データセットの平均エラーが 20\% 減少しました。
さらに、敵対的学習の複雑な性質により、この表現がトレーニング中の収束を改善し、最適な結果がより頻繁に得られるようにする方法を示します。

要約(オリジナル)

This paper addresses the problem of 2D pose representation during unsupervised 2D to 3D pose lifting to improve the accuracy, stability and generalisability of 3D human pose estimation (HPE) models. All unsupervised 2D-3D HPE approaches provide the entire 2D kinematic skeleton to a model during training. We argue that this is sub-optimal and disruptive as long-range correlations are induced between independent 2D key points and predicted 3D ordinates during training. To this end, we conduct the following study. With a maximum architecture capacity of 6 residual blocks, we evaluate the performance of 5 models which each represent a 2D pose differently during the adversarial unsupervised 2D-3D HPE process. Additionally, we show the correlations between 2D key points which are learned during the training process, highlighting the unintuitive correlations induced when an entire 2D pose is provided to a lifting model. Our results show that the most optimal representation of a 2D pose is that of two independent segments, the torso and legs, with no shared features between each lifting network. This approach decreased the average error by 20\% on the Human3.6M dataset when compared to a model with a near identical parameter count trained on the entire 2D kinematic skeleton. Furthermore, due to the complex nature of adversarial learning, we show how this representation can also improve convergence during training allowing for an optimum result to be obtained more often.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google