Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations from Diffusion Models

要約

我々は、拡散モデルを利用してもっともらしい擬似観測を合成し、再構成を改善する、少数ショット NeRF 再構成のための新しい方法論である Deceptive-NeRF を紹介します。
このアプローチは、次の 3 つの重要なステップを通じて展開されます。1) まばらな入力データから粗い NeRF を再構築します。
2) 粗い NeRF を利用して画像をレンダリングし、その後それらに基づいて疑似観測を生成します。
3) 擬似観測で強化された入力画像を利用して、洗練された NeRF モデルをトレーニングします。
私たちは、再構築のためのシーンのセマンティクスを維持しながら、RGB 画像と深度マップを粗い NeRF から写真のようにリアルな疑似観察に巧みに移行する欺瞞的な拡散モデルを開発します。
さらに、現在の NeRF レンダリングを使用して、次の反復の NeRF を強化する疑似観測を作成する、Deceptive-NeRF をトレーニングするための進歩的な戦略を提案します。
広範な実験により、私たちのアプローチが、入力が非常にまばらな非常に複雑なシーンであっても、フォトリアリスティックな新しいビューを合成できることが実証されました。
コードが公開されます。

要約(オリジナル)

We introduce Deceptive-NeRF, a novel methodology for few-shot NeRF reconstruction, which leverages diffusion models to synthesize plausible pseudo-observations to improve the reconstruction. This approach unfolds through three key steps: 1) reconstructing a coarse NeRF from sparse input data; 2) utilizing the coarse NeRF to render images and subsequently generating pseudo-observations based on them; 3) training a refined NeRF model utilizing input images augmented with pseudo-observations. We develop a deceptive diffusion model that adeptly transitions RGB images and depth maps from coarse NeRFs into photo-realistic pseudo-observations, all while preserving scene semantics for reconstruction. Furthermore, we propose a progressive strategy for training the Deceptive-NeRF, using the current NeRF renderings to create pseudo-observations that enhance the next iteration’s NeRF. Extensive experiments demonstrate that our approach is capable of synthesizing photo-realistic novel views, even for highly complex scenes with very sparse inputs. Codes will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google