NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing

要約

3D シーン編集のための効率的な学習フレームワークである NeRFEditor を紹介します。これは、360{\deg} にわたってキャプチャされたビデオを入力として受け取り、高品質でアイデンティティを保持する定型化された 3D シーンを出力します。
私たちの方法は、参照画像によるガイド、テキスト プロンプト、ユーザー インタラクションなど、さまざまな種類の編集をサポートしています。
これは、事前トレーニング済みの StyleGAN モデルと NeRF モデルが相互に学習することを奨励することで達成されます。
具体的には、NeRF モデルを使用して多数の画像と角度のペアを生成し、アジャスターをトレーニングします。これにより、StyleGAN 潜在コードを調整して、任意の角度に対して忠実度の高い様式化された画像を生成できます。
編集を GAN のドメイン外ビューに外挿するために、自己教師あり学習方式でトレーニングされる別のモジュールを考案します。
このモジュールは、新規ビューの画像を StyleGAN の隠しスペースにマッピングし、StyleGAN が新規ビューで様式化された画像を生成できるようにします。
これら 2 つのモジュールは一緒に 360{\deg} ビューでガイド付き画像を生成し、NeRF を微調整して様式化効果を作成します。これを実現するための安定した微調整戦略が提案されています。
実験によると、NeRFEditor は、ベンチマークや実世界のシーンでの以前の作業よりも優れた編集性、忠実度、および ID 保持で優れていることが示されています。

要約(オリジナル)

We present NeRFEditor, an efficient learning framework for 3D scene editing, which takes a video captured over 360{\deg} as input and outputs a high-quality, identity-preserving stylized 3D scene. Our method supports diverse types of editing such as guided by reference images, text prompts, and user interactions. We achieve this by encouraging a pre-trained StyleGAN model and a NeRF model to learn from each other mutually. Specifically, we use a NeRF model to generate numerous image-angle pairs to train an adjustor, which can adjust the StyleGAN latent code to generate high-fidelity stylized images for any given angle. To extrapolate editing to GAN out-of-domain views, we devise another module that is trained in a self-supervised learning manner. This module maps novel-view images to the hidden space of StyleGAN that allows StyleGAN to generate stylized images on novel views. These two modules together produce guided images in 360{\deg}views to finetune a NeRF to make stylization effects, where a stable fine-tuning strategy is proposed to achieve this. Experiments show that NeRFEditor outperforms prior work on benchmark and real-world scenes with better editability, fidelity, and identity preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google