ReconFusion: 3D Reconstruction with Diffusion Priors

要約

Neural Radiance Fields (NeRF) などの 3D 再構成手法は、複雑なシーンのフォトリアリスティックな斬新なビューのレンダリングに優れています。
ただし、高品質の NeRF を回復するには、通常、数十から数百の入力画像が必要となり、キャプチャ プロセスに時間がかかります。
わずか数枚の写真を使用して現実世界のシーンを再構成する ReconFusion を紹介します。
私たちのアプローチは、合成データセットとマルチビュー データセットでトレーニングされた新しいビュー合成のための拡散事前を活用し、入力画像のセットによってキャプチャされたポーズを超えた新しいカメラ ポーズで NeRF ベースの 3D 再構成パイプラインを正規化します。
私たちの方法では、観察された領域の外観を維持しながら、制約が不十分な領域に現実的なジオメトリとテクスチャを合成します。
私たちは、前向きシーンや 360 度シーンを含むさまざまな現実世界のデータセットにわたって広範な評価を実行し、以前の数ビュー NeRF 再構成アプローチと比較して大幅なパフォーマンスの向上を実証しています。

要約(オリジナル)

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google