Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation

要約

生成神経放射場 (GNeRF) に基づく 3D 認識 GAN は、強力な 3D 一貫性を維持しながら、印象的な高品質の画像生成を実現しました。
最も顕著な成果は、顔生成ドメインで行われました。
ただし、これらのモデルのほとんどは、ビューの一貫性の向上に焦点を当てていますが、もつれの解消の側面を無視しているため、これらのモデルは、生成に対する高品質のセマンティック/属性制御を提供できません。
この目的のために、特定の属性ラベルを入力として使用する条件付き GNeRF モデルを導入して、3D 対応の生成モデルの制御性ともつれを解く能力を向上させます。
事前トレーニング済みの 3D 対応モデルをベースとして使用し、属性ラベルを使用して生成を制御するデュアルブランチ属性編集モジュール (DAEM) を統合します。
さらに、潜在ベクトルを最適化して属性編集の精度をさらに向上させる TRIOT (TRaining as Init, and Optimizing for Tuning) メソッドを提案します。
広く使用されている FFHQ での広範な実験により、私たちのモデルは、非ターゲット領域を維持しながら、ビューの一貫性が向上した高品質の編集が得られることが示されています。
コードは https://github.com/zhangqianhui/TT-GNeRF で入手できます。

要約(オリジナル)

3D-aware GANs based on generative neural radiance fields (GNeRF) have achieved impressive high-quality image generation, while preserving strong 3D consistency. The most notable achievements are made in the face generation domain. However, most of these models focus on improving view consistency but neglect a disentanglement aspect, thus these models cannot provide high-quality semantic/attribute control over generation. To this end, we introduce a conditional GNeRF model that uses specific attribute labels as input in order to improve the controllabilities and disentangling abilities of 3D-aware generative models. We utilize the pre-trained 3D-aware model as the basis and integrate a dual-branches attribute-editing module (DAEM), that utilize attribute labels to provide control over generation. Moreover, we propose a TRIOT (TRaining as Init, and Optimizing for Tuning) method to optimize the latent vector to improve the precision of the attribute-editing further. Extensive experiments on the widely used FFHQ show that our model yields high-quality editing with better view consistency while preserving the non-target regions. The code is available at https://github.com/zhangqianhui/TT-GNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google