Capturing Human Motion from Monocular Images in World Space with Weak-supervised Calibration

要約

従来の単眼画像からの3D人体運動復元手法は、カメラ座標に依存しているため、複雑な撮影条件が存在する実世界のアプリケーションにおいて、しばしば不正確な結果を招く。また、焦点距離ラベルの入手可能性と多様性が限られているため、再構成された3D人体における位置ずれの問題がさらに悪化する。これらの課題に対処するために、我々は、体の歪み情報に基づいて「妥当な」焦点距離を予測し、正確な焦点距離ラベルの必要性を排除する弱教師付きキャリブレーション手法であるW-HMRを導入する。我々のアプローチは、2D監視精度とリカバリー精度を向上させる。さらに、不正確なカメラ回転予測に伴う誤差の蓄積を回避し、ワールド空間におけるもっともらしい再構成のために体の向きを補正するOrientCorrectモジュールを紹介する。我々の貢献には、新しい弱教師付きカメラキャリブレーション技術、効果的な姿勢補正モジュール、カメラ座標とワールド座標の両方における人体運動回復の一般性と精度を大幅に向上させるデカップリング戦略が含まれる。W-HMRのロバスト性は、様々なデータセットに対する広範な実験を通じて検証され、既存の手法に対する優位性が示されている。コードとデモはプロジェクトページhttps://yw0208.github.io/w-hmr/。

要約(オリジナル)

Previous methods for 3D human motion recovery from monocular images often fall short due to reliance on camera coordinates, leading to inaccuracies in real-world applications where complex shooting conditions are prevalent. The limited availability and diversity of focal length labels further exacerbate misalignment issues in reconstructed 3D human bodies. To address these challenges, we introduce W-HMR, a weak-supervised calibration method that predicts ‘reasonable’ focal lengths based on body distortion information, eliminating the need for precise focal length labels. Our approach enhances 2D supervision precision and recovery accuracy. Additionally, we present the OrientCorrect module, which corrects body orientation for plausible reconstructions in world space, avoiding the error accumulation associated with inaccurate camera rotation predictions. Our contributions include a novel weak-supervised camera calibration technique, an effective orientation correction module, and a decoupling strategy that significantly improves the generalizability and accuracy of human motion recovery in both camera and world coordinates. The robustness of W-HMR is validated through extensive experiments on various datasets, showcasing its superiority over existing methods. Codes and demos have been released on the project page https://yw0208.github.io/w-hmr/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL