Perspective Reconstruction of Human Faces by Joint Mesh and Landmark Regression

要約

3D 顔再構成は目覚ましい進歩を遂げましたが、透視投影での歪みにより、顔がカメラに非常に近い場合、ほとんどの正射影ベースの顔再構成方法は正確で一貫した再構成結果を達成できません。
この論文では、ワールド空間で3D顔メッシュを同時に再構築し、画像平面で2D顔ランドマークを予測して、透視3D顔再構築の問題に対処することを提案します。
予測された 3D 頂点と 2D ランドマークに基づいて、6DoF (6 自由度) の顔のポーズを PnP ソルバーで簡単に推定して、透視投影を表すことができます。
私たちのアプローチは、ECCV 2022 WCPA チャレンジのリーダーボードで 1 位を獲得し、モデルはさまざまなアイデンティティ、表現、ポーズの下で視覚的に堅牢です。
今後の研究を容易にするために、トレーニング コードとモデルがリリースされます。

要約(オリジナル)

Even though 3D face reconstruction has achieved impressive progress, most orthogonal projection-based face reconstruction methods can not achieve accurate and consistent reconstruction results when the face is very close to the camera due to the distortion under the perspective projection. In this paper, we propose to simultaneously reconstruct 3D face mesh in the world space and predict 2D face landmarks on the image plane to address the problem of perspective 3D face reconstruction. Based on the predicted 3D vertices and 2D landmarks, the 6DoF (6 Degrees of Freedom) face pose can be easily estimated by the PnP solver to represent perspective projection. Our approach achieves 1st place on the leader-board of the ECCV 2022 WCPA challenge and our model is visually robust under different identities, expressions and poses. The training code and models are released to facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google