Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions

要約

テキスト命令を使用して NeRF シーンを編集する方法を提案します。
シーンの NeRF とそれを再構成するために使用される画像のコレクションが与えられた場合、私たちの方法では、画像条件付き拡散モデル (InstructPix2Pix) を使用して、基礎となるシーンを最適化しながら入力画像を反復的に編集します。その結果、編集を尊重した最適化された 3D シーンが得られます。
命令。
私たちの提案した方法が大規模な現実世界のシーンを編集でき、以前の研究よりも現実的で的を絞った編集を達成できることを実証します。

要約(オリジナル)

We propose a method for editing NeRF scenes with text-instructions. Given a NeRF of a scene and the collection of images used to reconstruct it, our method uses an image-conditioned diffusion model (InstructPix2Pix) to iteratively edit the input images while optimizing the underlying scene, resulting in an optimized 3D scene that respects the edit instruction. We demonstrate that our proposed method is able to edit large-scale, real-world scenes, and is able to accomplish more realistic, targeted edits than prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google