Capturing Human Motion from Monocular Images in World Space with Weak-supervised Calibration

要約

単眼画像から 3D 人間の動きを復元するこれまでの方法は、カメラ座標に依存しているため不十分なことが多く、複雑な撮影条件が蔓延する現実世界のアプリケーションでは不正確さが生じます。
焦点距離ラベルの入手可能性と多様性が限られているため、再構成された 3D 人体の位置ずれの問題はさらに悪化します。
これらの課題に対処するために、ボディの歪み情報に基づいて「妥当な」焦点距離を予測する弱い教師ありキャリブレーション手法である W-HMR を導入し、正確な焦点距離ラベルの必要性を排除します。
私たちのアプローチにより、2D 監視精度と復元精度が向上します。
さらに、ワールド空間での妥当な再構成のために体の向きを修正し、不正確なカメラ回転予測に伴う誤差の蓄積を回避する OrientCorrect モジュールを紹介します。
私たちの貢献には、新しい弱教師付きカメラ キャリブレーション技術、効果的な方向補正モジュール、およびカメラと世界座標の両方における人間の動きの回復の一般化性と精度を大幅に向上させるデカップリング戦略が含まれます。
W-HMR の堅牢性は、さまざまなデータセットに対する広範な実験を通じて検証され、既存の方法よりも優れていることが示されています。
コードとデモはプロジェクトページ https://yw0208.github.io/w-hmr/ で公開されています。

要約(オリジナル)

Previous methods for 3D human motion recovery from monocular images often fall short due to reliance on camera coordinates, leading to inaccuracies in real-world applications where complex shooting conditions are prevalent. The limited availability and diversity of focal length labels further exacerbate misalignment issues in reconstructed 3D human bodies. To address these challenges, we introduce W-HMR, a weak-supervised calibration method that predicts ‘reasonable’ focal lengths based on body distortion information, eliminating the need for precise focal length labels. Our approach enhances 2D supervision precision and recovery accuracy. Additionally, we present the OrientCorrect module, which corrects body orientation for plausible reconstructions in world space, avoiding the error accumulation associated with inaccurate camera rotation predictions. Our contributions include a novel weak-supervised camera calibration technique, an effective orientation correction module, and a decoupling strategy that significantly improves the generalizability and accuracy of human motion recovery in both camera and world coordinates. The robustness of W-HMR is validated through extensive experiments on various datasets, showcasing its superiority over existing methods. Codes and demos have been released on the project page https://yw0208.github.io/w-hmr/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google