PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction

要約

Neural Radiance Fields (NeRF) により、Novel View Synthesis (NVS) 用の 2D 画像とカメラ ポーズから 3D シーンを再構築できます。
NeRF はフォトリアリスティックな結果を生成できますが、多くの場合、トレーニング ビューへのオーバーフィッティングの問題が発生し、特にテクスチャの低い領域でジオメトリの再構築が不十分になります。
この制限により、外挿 NVS、HD マッピング、シーン編集など、正確なジオメトリを必要とする多くの重要なアプリケーションが制限されます。
この制限に対処するために、RGB 画像とセマンティック マップのみを使用して NeRF の 3D 構造を改善する新しい方法を提案します。
私たちのアプローチは、幾何学的事前分布に依存しない、特異値分解 (SVD) に基づく新しい平面正則化を導入します。
さらに、損失設計で構造類似性指数測定 (SSIM) を利用して、NeRF の体積表現を適切に初期化します。
定量的および定性的な結果は、私たちの方法が大規模な屋外シーンの正確なジオメトリ再構築において一般的な正則化アプローチを上回っており、KITTI-360 NVS ベンチマークで SoTA レンダリング品質を達成していることを示しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) enable 3D scene reconstruction from 2D images and camera poses for Novel View Synthesis (NVS). Although NeRF can produce photorealistic results, it often suffers from overfitting to training views, leading to poor geometry reconstruction, especially in low-texture areas. This limitation restricts many important applications which require accurate geometry, such as extrapolated NVS, HD mapping and scene editing. To address this limitation, we propose a new method to improve NeRF’s 3D structure using only RGB images and semantic maps. Our approach introduces a novel plane regularization based on Singular Value Decomposition (SVD), that does not rely on any geometric prior. In addition, we leverage the Structural Similarity Index Measure (SSIM) in our loss design to properly initialize the volumetric representation of NeRF. Quantitative and qualitative results show that our method outperforms popular regularization approaches in accurate geometry reconstruction for large-scale outdoor scenes and achieves SoTA rendering quality on the KITTI-360 NVS benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google