MPL: Lifting 3D Human Pose from Multi-view 2D Poses

要約

2D 画像から 3D 人間のポーズを推定することは、オクルージョンと射影取得により困難です。
この課題に対処するために、学習ベースのアプローチが、シングルビュー設定とマルチビュー設定の両方で主に研究されてきました。
しかし、これらのソリューションは、トレーニング用の 3D ポーズと組み合わせた (マルチビューの) 「実際の」画像が不足しているため、現実世界のケースに一般化することができません。
このため、大規模で豊富なトレーニング データセットが存在する 2D ポーズ推定と、合成 2D-3D ポーズ ペアからトレーニングできるトランスフォーマー ベースのネットワークを使用した 2D から 3D ポーズ リフティングを組み合わせることを提案します。
私たちの実験では、2D ポーズを三角測量して得られた 3D ポーズと比較して、MPJPE エラーが最大 45% 減少することが実証されました。
フレームワークのソース コードは https://github.com/aghasemzadeh/OpenMPL で入手できます。

要約(オリジナル)

Estimating 3D human poses from 2D images is challenging due to occlusions and projective acquisition. Learning-based approaches have been largely studied to address this challenge, both in single and multi-view setups. These solutions however fail to generalize to real-world cases due to the lack of (multi-view) ‘in-the-wild’ images paired with 3D poses for training. For this reason, we propose combining 2D pose estimation, for which large and rich training datasets exist, and 2D-to-3D pose lifting, using a transformer-based network that can be trained from synthetic 2D-3D pose pairs. Our experiments demonstrate decreases up to 45% in MPJPE errors compared to the 3D pose obtained by triangulating the 2D poses. The framework’s source code is available at https://github.com/aghasemzadeh/OpenMPL .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google