3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation

要約

単一の顔画像からのジオメトリとテクスチャの推定は、処理すべき情報がほとんどないため、不適切な設定の問題です。
顔を別の角度で回転すると、問題はさらに悪化します。
この論文では、最初に StyleGAN と 3D モーファブル モデルを使用して、単一の画像からテクスチャを推定する新しい方法を導入することで、この問題に取り組むことを試みます。
この方法は、GAN の潜在空間を使用してマルチビューの顔を生成することから始まります。
次に、3DMM でトレーニングされた 3DDFA が、3D 顔メッシュと、推定された顔の形状と一致する高解像度のテクスチャ マップを推定します。
結果は、生成されたメッシュが高品質で、ほぼ正確なテクスチャ表現を備えていることを示しています。

要約(オリジナル)

Geometry and texture estimation from a single face image is an ill-posed problem since there is very little information to work with. The problem further escalates when the face is rotated at a different angle. This paper tries to tackle this problem by introducing a novel method for texture estimation from a single image by first using StyleGAN and 3D Morphable Models. The method begins by generating multi-view faces using the latent space of GAN. Then 3DDFA trained on 3DMM estimates a 3D face mesh as well as a high-resolution texture map that is consistent with the estimated face shape. The result shows that the generated mesh is of high quality with near to accurate texture representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google