Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations from Diffusion Models

要約

この論文では、合成的に生成された擬似観測を使用して再構成された NeRF モデルの品質を向上させる新しい方法である Deceptive-NeRF を紹介します。これは、まばらな入力を処理し、フローター アーティファクトを除去することができます。
私たちが提案する方法には、次の 3 つの重要なステップが含まれます。1) 疎な入力から粗い NeRF モデルを再構築します。
２）粗いモデルに基づいて疑似観測を生成する。
3) 擬似観測を使用して NeRF モデルを改良し、高品質の再構成を生成します。
まばらな入力との一貫性を保ちながら、再構成されたシーンのアイデンティティを忠実に保存するフォトリアリスティックな疑似観察を生成するために、粗い RGB 画像と深度マップを条件とした画像を生成する整流潜在拡散モデルを開発します。
粗い NeRF と入力画像からの潜在テキスト埋め込み。
広範な実験により、私たちの方法が効果的であり、非常にまばらな入力でも知覚的に高品質の NeRF を生成できることが示されています。

要約(オリジナル)

This paper introduces Deceptive-NeRF, a new method for enhancing the quality of reconstructed NeRF models using synthetically generated pseudo-observations, capable of handling sparse input and removing floater artifacts. Our proposed method involves three key steps: 1) reconstruct a coarse NeRF model from sparse inputs; 2) generate pseudo-observations based on the coarse model; 3) refine the NeRF model using pseudo-observations to produce a high-quality reconstruction. To generate photo-realistic pseudo-observations that faithfully preserve the identity of the reconstructed scene while remaining consistent with the sparse inputs, we develop a rectification latent diffusion model that generates images conditional on a coarse RGB image and depth map, which are derived from the coarse NeRF and latent text embedding from input images. Extensive experiments show that our method is effective and can generate perceptually high-quality NeRF even with very sparse inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google