HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN

要約

最近、3D オブジェクトの生成モデルは、VR や拡張現実アプリケーションで人気を集めています。
ボクセルや点群などの標準的な 3D 表現を使用してこのようなモデルをトレーニングすることは困難であり、適切なカラー レンダリングには複雑なツールが必要です。
この制限を克服するために、Neural Radiance Fields (NeRF) は、2D 画像の小さなサブセットから複雑な 3D シーンの新しいビューを合成する最先端の品質を提供します。
この論文では、HyperNeRFGAN と呼ばれる生成モデルを提案します。これは、ハイパーネットワーク パラダイムを使用して、NeRF によって表される 3D オブジェクトを生成します。
当社の GAN アーキテクチャは、ハイパーネットワーク パラダイムを活用して、ガウス ノイズを NeRF モデルの重みに変換します。
モデルはさらに 2D の新しいビューをレンダリングするために使用され、GAN ベースの構造全体をトレーニングするために従来の 2D ディスクリミネーターが利用されます。
私たちのアーキテクチャは 2D 画像を生成しますが、モデルが正しい 3D オブジェクトを生成するように強制する 3D 対応の NeRF 表現を使用します。
既存のアプローチに対するモデルの利点は、レンダリング コンポーネントの一部のグローバル パラメーターを共有することなく、オブジェクト専用の NeRF 表現を生成することです。
さまざまなドメインからの 3 つの挑戦的なデータセットの参照ベースラインと比較して、私たちのアプローチの優位性を示します。

要約(オリジナル)

Recently, generative models for 3D objects are gaining much popularity in VR and augmented reality applications. Training such models using standard 3D representations, like voxels or point clouds, is challenging and requires complex tools for proper color rendering. In order to overcome this limitation, Neural Radiance Fields (NeRFs) offer a state-of-the-art quality in synthesizing novel views of complex 3D scenes from a small subset of 2D images. In the paper, we propose a generative model called HyperNeRFGAN, which uses hypernetworks paradigm to produce 3D objects represented by NeRF. Our GAN architecture leverages a hypernetwork paradigm to transfer gaussian noise into weights of NeRF model. The model is further used to render 2D novel views, and a classical 2D discriminator is utilized for training the entire GAN-based structure. Our architecture produces 2D images, but we use 3D-aware NeRF representation, which forces the model to produce correct 3D objects. The advantage of the model over existing approaches is that it produces a dedicated NeRF representation for the object without sharing some global parameters of the rendering component. We show the superiority of our approach compared to reference baselines on three challenging datasets from various domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google