ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis

要約

Neural Radiance Fields (NeRF) は、高密度ビュー画像で優れた 3D 再構成機能を実証しました。
ただし、スパースビュー設定ではパフォーマンスが大幅に低下します。
このような場合、再構築の品質を向上させるには、異なるビュー間でのピクセルの 3D 一貫性を学習することが重要であることがわかりました。
この論文では、奥行き情報を活用してピクセル間のマルチビューとシングルビューの両方の 3D 一貫性を正規化する方法である ConsistentNeRF を提案します。
具体的には、ConsistentNeRF は、深度由来のジオメトリ情報と深度不変損失を使用して、3D 対応を示し、一貫した深度関係を維持するピクセルに集中します。
最近の代表的な研究に関する広範な実験により、私たちのアプローチがスパース ビュー条件でのモデルのパフォーマンスを大幅に向上させ、以下のようなさまざまなベンチマークでバニラ ベースラインと比較して PSNR で最大 94%、SSIM で 76%、LPIPS で 31% の改善を達成できることが明らかになりました。
DTU、NeRF Synthetic、LLFF。

要約(オリジナル)

Neural Radiance Fields (NeRF) has demonstrated remarkable 3D reconstruction capabilities with dense view images. However, its performance significantly deteriorates under sparse view settings. We observe that learning the 3D consistency of pixels among different views is crucial for improving reconstruction quality in such cases. In this paper, we propose ConsistentNeRF, a method that leverages depth information to regularize both multi-view and single-view 3D consistency among pixels. Specifically, ConsistentNeRF employs depth-derived geometry information and a depth-invariant loss to concentrate on pixels that exhibit 3D correspondence and maintain consistent depth relationships. Extensive experiments on recent representative works reveal that our approach can considerably enhance model performance in sparse view conditions, achieving improvements of up to 94% in PSNR, 76% in SSIM, and 31% in LPIPS compared to the vanilla baselines across various benchmarks, including DTU, NeRF Synthetic, and LLFF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google