Reference-guided Controllable Inpainting of Neural Radiance Fields

要約

タイトル：Neural Radiance Fieldsを参照する制御可能なインペイント

要約：Neural Radiance Fields（NeRFs）の人気は、NeRF編集ツールへの望みを引き起こしました。ここでは、一貫した視点を持ち、制御可能な方法で領域を埋めることに焦点を当てます。各ビューの不要な領域を定義する通常のNeRF入力とマスクに加えて、私たちはシーンの単一のインペイントされたビュー、つまり参照ビューのみを必要とします。モノcular深度推定器を使用して、インペイントされたビューを正しい3D位置にバックプロジェクトします。その後、新しいレンダリング技術を介して、バイアテラルソルバは、非参照ビューでビュー依存の効果を構築でき、インペイントされた領域をどのビューからでも一貫して表示できるようにします。シングル・レファレンス・ビューによって監視できない非参照disoccluded領域のために、私たちは画像インペイントに基づく方法を考案し、ジオメトリと外観の両方をガイドします。私たちのアプローチは、NeRFインペイントベースラインよりも優れた性能を示し、単一のインペイント画像を通じてユーザーが生成されたシーンを制御できるという追加の利点があります。プロジェクトページ：https://ashmrz.github.io/reference-guided-3d

– NeRFsは、ビューシンセシスのための強力なツールであることが知られています。
– 本研究では、NeRF編集ツールに対する望みに焦点を当て、視点を一貫して持ち、制御可能な方法で領域を埋めることを目的としています。
– 参照ビューに加えて、一つのインペイントされたシーンのビューのみを必要とします。
– 我々は、単一の参照ビューで監視できない非参照disoccluded領域のため、画像インペイントに基づく方法を考案し、ジオメトリと外観の両方をガイドします。
– 我々のアプローチは、NeRFインペイントベースラインよりも優れた性能を示し、単一のインペイント画像を通じてユーザーが生成されたシーンを制御できるという追加の利点があります。

要約(オリジナル)

The popularity of Neural Radiance Fields (NeRFs) for view synthesis has led to a desire for NeRF editing tools. Here, we focus on inpainting regions in a view-consistent and controllable manner. In addition to the typical NeRF inputs and masks delineating the unwanted region in each view, we require only a single inpainted view of the scene, i.e., a reference view. We use monocular depth estimators to back-project the inpainted view to the correct 3D positions. Then, via a novel rendering technique, a bilateral solver can construct view-dependent effects in non-reference views, making the inpainted region appear consistent from any view. For non-reference disoccluded regions, which cannot be supervised by the single reference view, we devise a method based on image inpainters to guide both the geometry and appearance. Our approach shows superior performance to NeRF inpainting baselines, with the additional advantage that a user can control the generated scene via a single inpainted image. Project page: https://ashmrz.github.io/reference-guided-3d

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI