GenN2N: Generative NeRF2NeRF Translation

要約

GenN2Nは、テキスト駆動型NeRF編集、カラー化、超解像、インペインティングなどの様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。GenN2Nは、タスクに特化したスキームで個々の翻訳タスク向けに設計された従来の手法とは異なり、プラグアンドプレイの画像間トランスレータを採用して2D領域で編集を実行し、2D編集を3DのNeRF空間にリフティングすることで、これらすべてのNeRF編集タスクを実現します。2D編集の3D一貫性は保証されない可能性があるため、編集可能なすべてのNeRFをカバーできる生成モデルによって、基礎となる3D編集の分布をモデル化することを提案します。2D編集された画像から3D編集されたNeRFの分布をモデル化するために、NeRFをデコードしながら画像をエンコードするVAE-GANを注意深く設計する。潜在空間はガウス分布に整列するように学習され、NeRFはそのレンダリングに対して敵対的損失を通して監視される。潜在コードが2次元視点に依存せず、3次元編集を真に反映することを保証するために、我々はまた対照学習スキームを通して潜在コードを正則化する。様々な編集タスクに関する広範な実験から、GenN2Nは普遍的なフレームワークとして、柔軟な生成能力を持ちながら、タスクに特化した専門家と同等以上の性能を発揮することが示されている。詳しい結果はプロジェクトページhttps://xiangyueliu.github.io/GenN2N/。

要約(オリジナル)

We present GenN2N, a unified NeRF-to-NeRF translation framework for various NeRF translation tasks such as text-driven NeRF editing, colorization, super-resolution, inpainting, etc. Unlike previous methods designed for individual translation tasks with task-specific schemes, GenN2N achieves all these NeRF editing tasks by employing a plug-and-play image-to-image translator to perform editing in the 2D domain and lifting 2D edits into the 3D NeRF space. Since the 3D consistency of 2D edits may not be assured, we propose to model the distribution of the underlying 3D edits through a generative model that can cover all possible edited NeRFs. To model the distribution of 3D edited NeRFs from 2D edited images, we carefully design a VAE-GAN that encodes images while decoding NeRFs. The latent space is trained to align with a Gaussian distribution and the NeRFs are supervised through an adversarial loss on its renderings. To ensure the latent code does not depend on 2D viewpoints but truly reflects the 3D edits, we also regularize the latent code through a contrastive learning scheme. Extensive experiments on various editing tasks show GenN2N, as a universal framework, performs as well or better than task-specific specialists while possessing flexible generative power. More results on our project page: https://xiangyueliu.github.io/GenN2N/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL