Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image

要約

3D 顔の再構成では、フィッティング プロセスを簡素化するために、透視投影の代わりに直交投影が広く採用されています。
この近似は、カメラと顔の間の距離が十分に離れている場合に適切に実行されます。
ただし、顔がカメラに非常に近い、またはカメラの軸に沿って移動するいくつかのシナリオでは、この方法では、透視投影下の歪みにより不正確な再構築と不安定な時間的フィッティングが発生します。
この論文では、透視投影の下での単一画像の 3D 顔再構成の問題に取り組むことを目的としています。
具体的には、ディープニューラルネットワークであるパー​​スペクティブネットワーク（PerspNet）が提案されており、正準空間での3D顔形状の再構築と2Dピクセルと3D点の対応関係の学習を同時に行うことで、6DoF（6自由度）の顔姿勢を推定することができます。
透視投影を表現します。
さらに、私たちは大規模な ARKitFace データセットを提供して、透視投影のシナリオの下で 3D 顔再構成ソリューションのトレーニングと評価を可能にします。これには、グラウンド トゥルース 3D 顔メッシュと注釈付き 6DoF ポーズ パラメーターを備えた 902,724 枚の 2D 顔画像が含まれています。
実験結果は、私たちのアプローチが現在の最先端の方法を大幅に上回るパフォーマンスを示していることを示しています。
コードとデータは https://github.com/cbsropenproject/6dof_face で入手できます。

要約(オリジナル)

In 3D face reconstruction, orthogonal projection has been widely employed to substitute perspective projection to simplify the fitting process. This approximation performs well when the distance between camera and face is far enough. However, in some scenarios that the face is very close to camera or moving along the camera axis, the methods suffer from the inaccurate reconstruction and unstable temporal fitting due to the distortion under the perspective projection. In this paper, we aim to address the problem of single-image 3D face reconstruction under perspective projection. Specifically, a deep neural network, Perspective Network (PerspNet), is proposed to simultaneously reconstruct 3D face shape in canonical space and learn the correspondence between 2D pixels and 3D points, by which the 6DoF (6 Degrees of Freedom) face pose can be estimated to represent perspective projection. Besides, we contribute a large ARKitFace dataset to enable the training and evaluation of 3D face reconstruction solutions under the scenarios of perspective projection, which has 902,724 2D facial images with ground-truth 3D face mesh and annotated 6DoF pose parameters. Experimental results show that our approach outperforms current state-of-the-art methods by a significant margin. The code and data are available at https://github.com/cbsropenproject/6dof_face.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google