FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction

要約

50,000 を超える高品質のテクスチャ UV マップを含む大規模な顔の UV テクスチャ データセットを提示します。これには、さまざまな照明条件下で現実的な 3D 顔モデルをレンダリングするために必要な特性である均一な照明、ニュートラルな表情、きれいな顔領域が含まれています。
このデータセットは、完全に自動化された堅牢な UV テクスチャ生成パイプラインの助けを借りて、FFHQ と呼ばれる大規模な顔画像データセットから派生しています。
私たちのパイプラインは、StyleGAN ベースの顔画像編集アプローチの最近の進歩を利用して、単一の画像入力からマルチビューの正規化された顔画像を生成します。
その後、精巧な UV テクスチャの抽出、修正、および完成手順が適用され、正規化された顔画像から高品質の UV マップが生成されます。
既存の UV テクスチャ データセットと比較して、私たちのデータセットには、より多様で高品質のテクスチャ マップがあります。
さらに、GAN ベースのテクスチャ デコーダを、パラメトリック フィッティング ベースの 3D 顔再構成の非線形テクスチャの基礎としてトレーニングします。
実験は、私たちの方法が最先端のアプローチよりも再構成の精度を向上させ、さらに重要なことに、現実的なレンダリングの準備ができている高品質のテクスチャ マップを生成することを示しています。
データセット、コード、事前トレーニング済みのテクスチャ デコーダーは、https://github.com/csbhr/FFHQ-UV で公開されています。

要約(オリジナル)

We present a large-scale facial UV-texture dataset that contains over 50,000 high-quality texture UV-maps with even illuminations, neutral expressions, and cleaned facial regions, which are desired characteristics for rendering realistic 3D face models under different lighting conditions. The dataset is derived from a large-scale face image dataset namely FFHQ, with the help of our fully automatic and robust UV-texture production pipeline. Our pipeline utilizes the recent advances in StyleGAN-based facial image editing approaches to generate multi-view normalized face images from single-image inputs. An elaborated UV-texture extraction, correction, and completion procedure is then applied to produce high-quality UV-maps from the normalized face images. Compared with existing UV-texture datasets, our dataset has more diverse and higher-quality texture maps. We further train a GAN-based texture decoder as the nonlinear texture basis for parametric fitting based 3D face reconstruction. Experiments show that our method improves the reconstruction accuracy over state-of-the-art approaches, and more importantly, produces high-quality texture maps that are ready for realistic renderings. The dataset, code, and pre-trained texture decoder are publicly available at https://github.com/csbhr/FFHQ-UV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google