PERF: Panoramic Neural Radiance Field from a Single Panorama

要約

Neural Radiance Field (NeRF) は、マルチビュー画像を基にした新しいビュー合成において大幅な進歩を遂げました。
最近、いくつかの研究では、3D 事前分布を使用して単一の画像から NeRF をトレーニングしようと試みています。
これらは主に限られた視野に焦点を当てており、目に見えないオクルージョンがほとんどないため、大きなサイズのオクルージョンを含む現実世界の 360 度のパノラマ シナリオに対するスケーラビリティが大幅に制限されます。
この論文では、単一のパノラマからパノラマ神経放射フィールドをトレーニングする 360 度の新しいビュー合成フレームワークである PERF を紹介します。
特に、PERF を使用すると、高価で面倒な画像収集を行わずに、複雑なシーンで 3D ローミングが可能になります。
この目標を達成するために、我々は、360 度 2D シーンを 3D シーンに引き上げるための、新しい協調的な RGBD 修復方法とプログレッシブ修復および消去方法を提案します。
具体的には、まず単一のパノラマを与えられた初期化としてパノラマ深度マップを予測し、ボリューム レンダリングを使用して可視 3D 領域を再構成します。
次に、協調的な RGBD 修復アプローチを NeRF に導入して、ランダム ビューから RGB 画像と深度マップを完成させます。これは、RGB 安定拡散モデルと単眼深度推定器から派生します。
最後に、新しくサンプリングされたビューと参照ビューの間でジオメトリの不一致を回避するために、修復と消去の戦略を導入します。
2 つのコンポーネントは、統合された最適化フレームワークで NeRF の学習に統合され、有望な結果を達成します。
レプリカと新しいデータセット PERF-in-the-wild に関する広範な実験により、最先端の手法に対する当社の PERF の優位性が実証されました。
当社の PERF は、パノラマから 3D への変換、テキストから 3D への変換、および 3D シーンのスタイル化アプリケーションなど、現実世界のアプリケーションに広く使用できます。
プロジェクト ページとコードは https://perf-project.github.io/ で入手できます。

要約(オリジナル)

Neural Radiance Field (NeRF) has achieved substantial progress in novel view synthesis given multi-view images. Recently, some works have attempted to train a NeRF from a single image with 3D priors. They mainly focus on a limited field of view and there are few invisible occlusions, which greatly limits their scalability to real-world 360-degree panoramic scenarios with large-size occlusions. In this paper, we present PERF, a 360-degree novel view synthesis framework that trains a panoramic neural radiance field from a single panorama. Notably, PERF allows 3D roaming in a complex scene without expensive and tedious image collection. To achieve this goal, we propose a novel collaborative RGBD inpainting method and a progressive inpainting-and-erasing method to lift up a 360-degree 2D scene to a 3D scene. Specifically, we first predict a panoramic depth map as initialization given a single panorama, and reconstruct visible 3D regions with volume rendering. Then we introduce a collaborative RGBD inpainting approach into a NeRF for completing RGB images and depth maps from random views, which is derived from an RGB Stable Diffusion model and a monocular depth estimator. Finally, we introduce an inpainting-and-erasing strategy to avoid inconsistent geometry between a newly-sampled view and reference views. The two components are integrated into the learning of NeRFs in a unified optimization framework and achieve promising results. Extensive experiments on Replica and a new dataset PERF-in-the-wild demonstrate the superiority of our PERF over state-of-the-art methods. Our PERF can be widely used for real-world applications, such as panorama-to-3D, text-to-3D, and 3D scene stylization applications. Project page and code are available at https://perf-project.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google