Reference-guided Controllable Inpainting of Neural Radiance Fields

要約

タイトル：ニューラル放射場の参照に基づく制御可能なインペインティング

要約：

– Neural Radiance Fields（NeRF）の視点合成への人気により、NeRF編集ツールが欲求されています。
– この論文では、一貫した視点と制御可能な方法でインペインティング領域に焦点を当てています。
– 典型的なNeRFの入力と各視点で不要な領域を示すマスクに加えて、シーンの単一のインペインティングビュー、つまり参照ビューだけが必要です。
– 我々は単眼奥行き推定器を使用してインペインティングビューを正しい3D位置に再投影します。また、新しいレンダリング技術を使用して、バイラテラルソルバーが非参照ビューでビュー依存効果を構築し、インペインティング領域を任意の視点から一貫して表示できるようにします。
– 一方、単一の参照ビューによって監視できない非参照解像度領域のための、ジオメトリと外観の両方をガイドするための画像インペインタに基づく方法を考案します。
– このアプローチは、NeRFインペインティングのベースラインよりも優れたパフォーマンスを示し、単一のインペインティング画像を使用してユーザーが生成されたシーンを制御できるという利点があります。プロジェクトページ：https：//ashmrz.github.io/reference-guided-3d

要約(オリジナル)

The popularity of Neural Radiance Fields (NeRFs) for view synthesis has led to a desire for NeRF editing tools. Here, we focus on inpainting regions in a view-consistent and controllable manner. In addition to the typical NeRF inputs and masks delineating the unwanted region in each view, we require only a single inpainted view of the scene, i.e., a reference view. We use monocular depth estimators to back-project the inpainted view to the correct 3D positions. Then, via a novel rendering technique, a bilateral solver can construct view-dependent effects in non-reference views, making the inpainted region appear consistent from any view. For non-reference disoccluded regions, which cannot be supervised by the single reference view, we devise a method based on image inpainters to guide both the geometry and appearance. Our approach shows superior performance to NeRF inpainting baselines, with the additional advantage that a user can control the generated scene via a single inpainted image. Project page: https://ashmrz.github.io/reference-guided-3d

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI