BLADE: Single-view Body Mesh Learning through Accurate Depth Estimation

要約

単一画像の人物メッシュの回復は、身体の形状、姿勢、カメラの推定を同時に行うという不適切な性質のため、困難な作業です。
既存の推定器は、遠くから撮影した画像ではうまく機能しますが、人物がカメラに近づくと機能しなくなります。
さらに、現在の方法では、正確な 3D 姿勢と 2D 位置合わせの両方を同時に達成することができません。
エラーは主に、正投影パラメータからヒューリスティックに導出された不正確な透視投影によって発生します。
この長年の課題を解決するために、ヒューリスティックな仮定を使わずに単一の画像から遠近パラメータを正確に回復する手法 BLADE を紹介します。
遠近法の歪みと人の Z 方向の移動 Tz との逆関係から始めて、画像から Tz を確実に推定できることを示します。
次に、近距離画像から推定された人間のメッシュを正確に復元するための Tz の重要な役割について説明します。
最後に、Tz と 3D 人間メッシュが推定されると、焦点距離と完全な 3D 変換を正確に復元できることを示します。
標準ベンチマークと現実世界の近距離画像に関する広範な実験により、私たちの方法が単一画像から投影パラメータを正確に回復する最初の手法であることが示され、その結果、画像の 3D 姿勢推定と 2D アライメントで最先端の精度を達成できることがわかりました。
幅広いイメージ。
https://research.nvidia.com/labs/amri/projects/blade/

要約(オリジナル)

Single-image human mesh recovery is a challenging task due to the ill-posed nature of simultaneous body shape, pose, and camera estimation. Existing estimators work well on images taken from afar, but they break down as the person moves close to the camera. Moreover, current methods fail to achieve both accurate 3D pose and 2D alignment at the same time. Error is mainly introduced by inaccurate perspective projection heuristically derived from orthographic parameters. To resolve this long-standing challenge, we present our method BLADE which accurately recovers perspective parameters from a single image without heuristic assumptions. We start from the inverse relationship between perspective distortion and the person’s Z-translation Tz, and we show that Tz can be reliably estimated from the image. We then discuss the important role of Tz for accurate human mesh recovery estimated from close-range images. Finally, we show that, once Tz and the 3D human mesh are estimated, one can accurately recover the focal length and full 3D translation. Extensive experiments on standard benchmarks and real-world close-range images show that our method is the first to accurately recover projection parameters from a single image, and consequently attain state-of-the-art accuracy on 3D pose estimation and 2D alignment for a wide range of images. https://research.nvidia.com/labs/amri/projects/blade/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google