NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions

要約

ポーズ条件付き畳み込み生成モデルは、十分な 3D 事前データが不足しているため、単一ビュー データセットから高品質の 3D 一貫性のある画像を生成するのに苦労しています。
最近、Neural Radiance Fields (NeRF) と敵対的生成ネットワーク (GAN) などの生成モデルの統合により、単一ビュー画像からの 3D 対応の生成が変革されました。
NeRF-GAN は、計算の複雑性を犠牲にして、ニューラル 3D 表現とボリューム レンダリングの強力な誘導バイアスを利用します。
この研究は、事前トレーニングされた NeRF-GAN から 3D 知識を抽出することにより、推論時に効率的に 3D を認識した生成を行うために姿勢条件付き 2D GAN を再検討することを目的としています。
我々は、姿勢条件付き畳み込みネットワークで事前トレーニングされた NeRF-GAN のよく解絡された潜在空間を再利用して、基礎となる 3D 表現に対応する 3D 一貫性のある画像を直接生成することに基づいた、シンプルで効果的な方法を提案します。
いくつかのデータセットでの実験により、提案された方法が畳み込みネットワークの計算上の利点の恩恵を受けながら、品質と 3D 一貫性の点でボリューム レンダリングと同等の結果が得られることが実証されています。
コードは https://github.com/mshahbazi72/NeRF-GAN-Distillation から入手できます。

要約(オリジナル)

Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of neural 3D representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANs. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google