Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks

要約

EG3D や GIRAFFE などの NeRF ベースの 3D 対応敵対的生成ネットワーク (GAN) は、さまざまな表現において非常に高いレンダリング品質を示しています。
ただし、Neural Radiance Fields を使用したレンダリングは 3D アプリケーションに課題をもたらします。まず、NeRF レンダリングには膨大な計算量が要求されるため、モバイルや VR/AR ヘッドセットなどの低電力デバイスでは使用できません。
第 2 に、ニューラル ネットワークに基づく暗黙的表現を VR 環境やビデオ ゲームなどの明示的な 3D シーンに組み込むのは困難です。
3D ガウス スプラッティング (3DGS) は、高フレーム レートで効率的にレンダリングできる明示的な 3D 表現を提供することで、これらの制限を克服します。
この研究では、NeRF ベースの 3D 対応 GAN の高いレンダリング品質と 3DGS の柔軟性および計算上の利点を組み合わせた新しいアプローチを紹介します。
暗黙的な NeRF 表現を明示的な 3D ガウス スプラッティング属性にマッピングするデコーダーをトレーニングすることにより、3D GAN の表現の多様性と品質を 3D ガウス スプラッティングのエコシステムに初めて統合できます。
さらに、私たちのアプローチにより、高解像度の GAN 反転と 3D ガウス スプラッティング シーンによるリアルタイム GAN 編集が可能になります。

要約(オリジナル)

NeRF-based 3D-aware Generative Adversarial Networks (GANs) like EG3D or GIRAFFE have shown very high rendering quality under large representational variety. However, rendering with Neural Radiance Fields poses challenges for 3D applications: First, the significant computational demands of NeRF rendering preclude its use on low-power devices, such as mobiles and VR/AR headsets. Second, implicit representations based on neural networks are difficult to incorporate into explicit 3D scenes, such as VR environments or video games. 3D Gaussian Splatting (3DGS) overcomes these limitations by providing an explicit 3D representation that can be rendered efficiently at high frame rates. In this work, we present a novel approach that combines the high rendering quality of NeRF-based 3D-aware GANs with the flexibility and computational advantages of 3DGS. By training a decoder that maps implicit NeRF representations to explicit 3D Gaussian Splatting attributes, we can integrate the representational diversity and quality of 3D GANs into the ecosystem of 3D Gaussian Splatting for the first time. Additionally, our approach allows for a high resolution GAN inversion and real-time GAN editing with 3D Gaussian Splatting scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google