Class-Continuous Conditional Generative Neural Radiance Field

要約

3Dを考慮した画像合成は、高解像度の画像を細部まで再現することに加え、空間的な一貫性を保持することに重点を置いている。近年、Neural Radiance Field (NeRF)は、低計算コストかつ優れた性能で新しいビューを合成するために導入された。しかし、生成的なNeRFを研究しているいくつかの研究は、生成の過程で条件付きや連続的な特徴操作を扱うことができず、顕著な成果を上げていない。本研究では、生成器と識別器に条件付き特徴を投影することで、条件付きで操作されたフォトリアリスティックな3D-consistent画像を合成できるClass-Continuous Conditional Generative NeRF ($text{C}^{3}$G-NeRF) と呼ばれる新規モデルを導入する。提案する$text{C}^{3}$G-NeRFをAFHQ, CelebA, Carsの3つの画像データセットに対して評価した．その結果，提案モデルは，条件付き特徴量操作において，細部の3次元整合性が高く，補間も滑らかであることがわかった．例えば、$G-NeRFは$text{128}^{2}$の解像度で3D認識顔画像合成を行う際に、Frèchet Inception Distance (FID) 7.64を達成することができた。また、$text{C}^{3}$G-NeRFを用いるとクラス条件付きの画像合成が可能であるため、データセットの各クラスについて生成した3次元対応画像のFIDを提供する。

要約(オリジナル)

The 3D-aware image synthesis focuses on conserving spatial consistency besides generating high-resolution images with fine details. Recently, Neural Radiance Field (NeRF) has been introduced for synthesizing novel views with low computational cost and superior performance. While several works investigate a generative NeRF and show remarkable achievement, they cannot handle conditional and continuous feature manipulation in the generation procedure. In this work, we introduce a novel model, called Class-Continuous Conditional Generative NeRF ($\text{C}^{3}$G-NeRF), which can synthesize conditionally manipulated photorealistic 3D-consistent images by projecting conditional features to the generator and the discriminator. The proposed $\text{C}^{3}$G-NeRF is evaluated with three image datasets, AFHQ, CelebA, and Cars. As a result, our model shows strong 3D-consistency with fine details and smooth interpolation in conditional feature manipulation. For instance, $\text{C}^{3}$G-NeRF exhibits a Fr\’echet Inception Distance (FID) of 7.64 in 3D-aware face image synthesis with a $\text{128}^{2}$ resolution. Additionally, we provide FIDs of generated 3D-aware images of each class of the datasets as it is possible to synthesize class-conditional images with $\text{C}^{3}$G-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL