SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization

要約

画像からの 3D 表面再構成は、多くのアプリケーションにとって不可欠です。
最近、Neural Radiance Fields (NeRF) が 3D モデリングの有望なフレームワークとして浮上しています。
ただし、NeRF は入力として正確なカメラのポーズを必要とし、既存の方法では、現実世界のシナリオでよく遭遇する、非常にノイズの多いポーズ推定値 (つまり、外れ値) を処理するのに苦労しています。
この課題に取り組むために、シーン グラフを使用して放射輝度フィールドを最適化し、異常値のポーズの影響を軽減する新しいアプローチを紹介します。
私たちの方法には、シーングラフに基づく適応的なインライア・アウトライア信頼度推定スキームが組み込まれており、近傍との高い互換性とレンダリング品質の一貫性のある画像が強調されます。
また、トレーニングを容易にするための粗いから細かい戦略とともに、カメラのポーズと表面ジオメトリを最適化するための効果的な交差オーバーユニオン (IoU) 損失も導入します。
さらに、詳細な評価のために、典型的な外れ値ポーズを含む新しいデータセットを提案します。
さまざまなデータセットでの実験結果は、既存のアプローチに対するこの手法の有効性と優位性を一貫して示しており、外れ値の処理と高品質の 3D 再構成の生成における堅牢性を示しています。
コードとデータは \url{https://github.com/Iris-cyy/SG-NeRF} から入手できます。

要約(オリジナル)

3D surface reconstruction from images is essential for numerous applications. Recently, Neural Radiance Fields (NeRFs) have emerged as a promising framework for 3D modeling. However, NeRFs require accurate camera poses as input, and existing methods struggle to handle significantly noisy pose estimates (i.e., outliers), which are commonly encountered in real-world scenarios. To tackle this challenge, we present a novel approach that optimizes radiance fields with scene graphs to mitigate the influence of outlier poses. Our method incorporates an adaptive inlier-outlier confidence estimation scheme based on scene graphs, emphasizing images of high compatibility with the neighborhood and consistency in the rendering quality. We also introduce an effective intersection-over-union (IoU) loss to optimize the camera pose and surface geometry, together with a coarse-to-fine strategy to facilitate the training. Furthermore, we propose a new dataset containing typical outlier poses for a detailed evaluation. Experimental results on various datasets consistently demonstrate the effectiveness and superiority of our method over existing approaches, showcasing its robustness in handling outliers and producing high-quality 3D reconstructions. Our code and data are available at: \url{https://github.com/Iris-cyy/SG-NeRF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google