PLIKS: A Pseudo-Linear Inverse Kinematic Solver for 3D Human Body Estimation

要約

単一の 2D 画像から人体の 3D メッシュを再構築する問題を、ループ内モデルの最適化問題と見なします。
既存のアプローチは、弱い視点のカメラを想定して、パラメトリック統計モデルの形状、ポーズ、および変換パラメーターを回帰させることがよくあります。
対照的に、最初に画像空間内の 2D ピクセル整列頂点を推定し、線形最小二乗問題を最小化することによってモデル パラメーターを回帰する PLIKS (疑似線形逆運動学ソルバー) を提案します。
PLIKS はパラメトリック SMPL モデルの線形化された定式化であり、適切な初期化から最適なポーズと形状のソリューションを提供します。
私たちの方法は、ネットワークで予測された 3D メッシュから初期姿勢推定を分析的に計算し、続いて PLIKS を使用して、特定の制約に対する最適解を取得することに基づいています。
私たちのフレームワークは 2D ピクセル整列マップを使用するため、部分的なオクルージョンに対して本質的に堅牢です。
提案されたアプローチのパフォーマンスを実証するために、標準的な 3D 人間の姿勢と形状のベンチマークに関して、PLIKS が他の最先端の方法と比較して 10% 以上の改善でより正確な再構成を達成することを確認する定量的評価を提示します。
また、新しい AGORA データセットでは再構成誤差が 12.9 mm 改善されています。

要約(オリジナル)

We consider the problem of reconstructing a 3D mesh of the human body from a single 2D image as a model-in-the-loop optimization problem. Existing approaches often regress the shape, pose, and translation parameters of a parametric statistical model assuming a weak-perspective camera. In contrast, we first estimate 2D pixel-aligned vertices in image space and propose PLIKS (Pseudo-Linear Inverse Kinematic Solver) to regress the model parameters by minimizing a linear least squares problem. PLIKS is a linearized formulation of the parametric SMPL model, which provides an optimal pose and shape solution from an adequate initialization. Our method is based on analytically calculating an initial pose estimate from the network predicted 3D mesh followed by PLIKS to obtain an optimal solution for the given constraints. As our framework makes use of 2D pixel-aligned maps, it is inherently robust to partial occlusion. To demonstrate the performance of the proposed approach, we present quantitative evaluations which confirm that PLIKS achieves more accurate reconstruction with greater than 10% improvement compared to other state-of-the-art methods with respect to the standard 3D human pose and shape benchmarks while also obtaining a reconstruction error improvement of 12.9 mm on the newer AGORA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google