NeRF-GAN Distillation for Memory-Efficient 3D-Aware Generation with Convolutions

要約

ポーズ条件付き畳み込み生成モデルは、十分な 3D 事前データが不足しているため、単一ビュー データセットから高品質の 3D 一貫性のある画像を生成するのに苦労しています。
最近、Neural Radiance Fields (NeRF) と敵対的生成ネットワーク (GAN) などの生成モデルの統合により、単一ビュー画像からの 3D 対応の生成が変革されました。
NeRF-GAN は、より高い計算複雑性を犠牲にして、3D ニューラル表現とボリューム レンダリングの強力な誘導バイアスを利用します。
この研究は、事前トレーニング済み NeRF-GANS から 3D 知識を抽出することにより、推論時にメモリ効率の高い 3D 認識生成を行うためのポーズ条件付き 2D GAN を再考することを目的としています。
我々は、姿勢条件付き畳み込みネットワークで事前トレーニングされた NeRF-GAN のよく解絡された潜在空間を再利用して、基礎となる 3D 表現に対応する 3D 一貫性のある画像を直接生成することに基づいた、シンプルで効果的な方法を提案します。
いくつかのデータセットでの実験では、提案された方法が畳み込みネットワークの優れた計算上の利点の恩恵を受けながら、品質と 3D 一貫性の点でボリューム レンダリングに匹敵する結果が得られることを示しています。
コードは https://github.com/mshahbazi72/NeRF-GAN-Distillation から入手できます。

要約(オリジナル)

Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of 3D neural representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for memory-efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANS. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the superior computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google