FaceLit: Neural 3D Relightable Faces

要約

私たちは生成フレームワークである FaceLit を提案します。これは、ユーザーが定義したさまざまな照明条件とビューでレンダリングできる 3D 顔を生成でき、手動の注釈なしで野生の 2D 画像から純粋に学習されます。
注意深いキャプチャ設定や人手が必要な既存の作品とは異なり、私たちは既製のポーズと照明の推定器に依存しています。
これらの推定値を使用して、Phong 反射率モデルをニューラル ボリューム レンダリング フレームワークに組み込みます。
私たちのモデルは、ポーズと照明の自然な統計に従ってレンダリングされたときに、マルチビュー 3D と照明の一貫性を備えたフォトリアリスティックな顔画像を生成するように、顔の形状と材料特性を生成することを学習します。
私たちの方法は、複数のデータセット (FFHQ、MetFaces、および CelebA-HQ) に対する明示的な照明とビュー コントロールを使用して、フォトリアリスティックな顔の生成を可能にします。
3.5 の FID スコアを達成する FFHQ データセットの 3D 対応 GAN 間で最先端のフォトリアリズムを示します。

要約(オリジナル)

We propose a generative framework, FaceLit, capable of generating a 3D face that can be rendered at various user-defined lighting conditions and views, learned purely from 2D images in-the-wild without any manual annotation. Unlike existing works that require careful capture setup or human labor, we rely on off-the-shelf pose and illumination estimators. With these estimates, we incorporate the Phong reflectance model in the neural volume rendering framework. Our model learns to generate shape and material properties of a face such that, when rendered according to the natural statistics of pose and illumination, produces photorealistic face images with multiview 3D and illumination consistency. Our method enables photorealistic generation of faces with explicit illumination and view controls on multiple datasets – FFHQ, MetFaces and CelebA-HQ. We show state-of-the-art photorealism among 3D aware GANs on FFHQ dataset achieving an FID score of 3.5.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google