Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions

要約

テキスト命令でNeRFシーンを編集する方法を提案します。
シーンの NeRF とそれを再構築するために使用される画像のコレクションが与えられると、この方法では、画像調整された拡散モデル (InstructPix2Pix) を使用して、基になるシーンを最適化しながら入力画像を繰り返し編集し、編集を尊重する最適化された 3D シーンを生成します。
命令。
提案された方法が大規模な現実世界のシーンを編集でき、以前の作業よりも現実的で的を絞った編集を達成できることを示します。

要約(オリジナル)

We propose a method for editing NeRF scenes with text-instructions. Given a NeRF of a scene and the collection of images used to reconstruct it, our method uses an image-conditioned diffusion model (InstructPix2Pix) to iteratively edit the input images while optimizing the underlying scene, resulting in an optimized 3D scene that respects the edit instruction. We demonstrate that our proposed method is able to edit large-scale, real-world scenes, and is able to accomplish more realistic, targeted edits than prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google