Back to Optimization: Diffusion-based Zero-Shot 3D Human Pose Estimation

要約

学習ベースの手法は、ほとんどのベンチマークで従来の最適化ベースの手法よりも大幅に優れたパフォーマンスを示し、3D 人間姿勢推定 (HPE) タスクを支配しています。
それにもかかわらず、トレーニングされたネットワークはカメラ固有のパラメーターとドメインベースを暗黙的に学習するため、2D-3D リフティング、画像から 3D、または拡散ベースの方法のいずれを使用する場合でも、実際の 3D HPE は依然として学習ベースのモデルの最大の課題です。
3D 人間の姿勢分布と統計的平均による姿勢の推定。
一方、最適化ベースの方法では、ケースバイケースで結果を推定するため、自然界でのより多様で洗練された人間のポーズを予測できます。
最適化ベースの手法と学習ベースの手法の利点を組み合わせることで、クロスドメインおよび実地 3D HPE の問題を解決する 3D HPE 用のゼロショット拡散ベース最適化 (ZeDO) パイプラインを提案します。
私たちのマルチ仮説 ZeDO は、2D-3D または画像-3D ペアでトレーニングすることなく、Human3.6M で minMPJPE $51.4$mm という最先端 (SOTA) パフォーマンスを達成します。
さらに、私たちの単一仮説 ZeDO は、クロスデータセット評価で PA-MPJPE $42.6$mm を使用して 3DPW データセットで SOTA パフォーマンスを達成し、これは 3DPW でトレーニングされた学習ベースの手法をも上回ります。

要約(オリジナル)

Learning-based methods have dominated the 3D human pose estimation (HPE) tasks with significantly better performance in most benchmarks than traditional optimization-based methods. Nonetheless, 3D HPE in the wild is still the biggest challenge of learning-based models, whether with 2D-3D lifting, image-to-3D, or diffusion-based methods, since the trained networks implicitly learn camera intrinsic parameters and domain-based 3D human pose distributions and estimate poses by statistical average. On the other hand, the optimization-based methods estimate results case-by-case, which can predict more diverse and sophisticated human poses in the wild. By combining the advantages of optimization-based and learning-based methods, we propose the Zero-shot Diffusion-based Optimization (ZeDO) pipeline for 3D HPE to solve the problem of cross-domain and in-the-wild 3D HPE. Our multi-hypothesis ZeDO achieves state-of-the-art (SOTA) performance on Human3.6M as minMPJPE $51.4$mm without training with any 2D-3D or image-3D pairs. Moreover, our single-hypothesis ZeDO achieves SOTA performance on 3DPW dataset with PA-MPJPE $42.6$mm on cross-dataset evaluation, which even outperforms learning-based methods trained on 3DPW.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google