Personalized 3D Human Pose and Shape Refinement

要約

最近、回帰ベースの手法が 3D 人間の姿勢と形状の推定の分野を支配しています。
有望な結果にもかかわらず、共通の問題は、運動連鎖に沿って蓄積される小さな関節回転誤差によって引き起こされることが多い、予測と画像観察の間のずれです。
この問題に対処するために、初期の人間モデル推定値と、初期予測を改良するために使用できる対応する画像との間の密な対応関係を構築することを提案します。
この目的を達成するために、3D モデルのレンダリングを利用して、合成レンダリングと RGB 画像の間のピクセルごとの 2D 変位を予測します。
これにより、人物の外見情報を効果的に統合して活用できるようになります。
ピクセルごとの変位は、可視頂点ごとの変位に効率的に変換され、再投影損失を最小限に抑えることで 3D モデルの改良に使用できます。
私たちのアプローチの有効性を実証するために、3DPW と RICH で異なる改良手順を使用して、複数のモデルの初期 3D ヒューマン メッシュ予測を改良します。
私たちのアプローチが一貫して画像モデルの位置合わせを改善するだけでなく、3D 精度の向上にもつながることを示します。

要約(オリジナル)

Recently, regression-based methods have dominated the field of 3D human pose and shape estimation. Despite their promising results, a common issue is the misalignment between predictions and image observations, often caused by minor joint rotation errors that accumulate along the kinematic chain. To address this issue, we propose to construct dense correspondences between initial human model estimates and the corresponding images that can be used to refine the initial predictions. To this end, we utilize renderings of the 3D models to predict per-pixel 2D displacements between the synthetic renderings and the RGB images. This allows us to effectively integrate and exploit appearance information of the persons. Our per-pixel displacements can be efficiently transformed to per-visible-vertex displacements and then used for 3D model refinement by minimizing a reprojection loss. To demonstrate the effectiveness of our approach, we refine the initial 3D human mesh predictions of multiple models using different refinement procedures on 3DPW and RICH. We show that our approach not only consistently leads to better image-model alignment, but also to improved 3D accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google