Removing Objects From Neural Radiance Fields

要約

ニューラル ラディアンス フィールド (NeRF) は、新しいビュー合成を可能にするユビキタス シーン表現として出現しています。
ますます、NeRF は他の人々と共有できるようになります。
ただし、NeRF を共有する前に、個人情報や見苦しいオブジェクトを削除することが望ましい場合があります。
このような削除は、現在の NeRF 編集フレームワークでは簡単に実現できません。
RGB-D シーケンスから作成された NeRF 表現からオブジェクトを削除するフレームワークを提案します。
当社の NeRF 修復方法は、2D 画像修復における最近の研究を活用し、ユーザー提供のマスクによってガイドされます。
私たちのアルゴリズムは、信頼度に基づくビュー選択手順によって支えられています。
個々の 2D 修復画像のどれを NeRF の作成に使用するかを選択するため、結果として得られる修復 NeRF は 3D と一貫性があります。
NeRF編集の方法が、もっともらしい修復をマルチビューコヒーレントな方法で合成するのに効果的であることを示します。
NeRF修復のタスクのために、まだ挑戦的な新しいデータセットを使用して、アプローチを検証します。

要約(オリジナル)

Neural Radiance Fields (NeRFs) are emerging as a ubiquitous scene representation that allows for novel view synthesis. Increasingly, NeRFs will be shareable with other people. Before sharing a NeRF, though, it might be desirable to remove personal information or unsightly objects. Such removal is not easily achieved with the current NeRF editing frameworks. We propose a framework to remove objects from a NeRF representation created from an RGB-D sequence. Our NeRF inpainting method leverages recent work in 2D image inpainting and is guided by a user-provided mask. Our algorithm is underpinned by a confidence based view selection procedure. It chooses which of the individual 2D inpainted images to use in the creation of the NeRF, so that the resulting inpainted NeRF is 3D consistent. We show that our method for NeRF editing is effective for synthesizing plausible inpaintings in a multi-view coherent manner. We validate our approach using a new and still-challenging dataset for the task of NeRF inpainting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google