CDGS: Confidence-Aware Depth Regularization for 3D Gaussian Splatting

要約

3Dガウススプラッティング（3DG）は、特に高いレンダリング速度と高品質の結果を達成する上で、新しいビュー合成（NVS）に大きな利点を示しています。
ただし、最適化中の明示的な幾何学的制約がないため、3D再構成における幾何学的精度は限られたままです。
このペーパーでは、3DGを強化するために開発された信頼性の高い深さ正規化アプローチであるCDGSを紹介します。
モノクラー深度推定のマルチキュー信頼マップとモーションからのまばらな構造の深さを活用して、最適化プロセス中に深さの監督を適応的に調整します。
私たちの方法は、早期トレーニング段階での幾何学的詳細保存の改善を示し、NVSの品質と幾何学的精度の両方で競争力のあるパフォーマンスを達成します。
公開されているタンクと寺院のベンチマークデータセットでの実験は、私たちの方法がより安定した収束挙動とより正確な幾何学的再構成結果を達成し、NVSのPSNRで最大2.31 dBの改善を実現し、M3C2距離メトリックで一貫して幾何学的誤差を低下させることを示しています。
特に、私たちの方法は、トレーニングの反復の50％のみで、元の3DGSに匹敵するFスコアに到達します。
この作業は、デジタルツイン作成、遺産保存、林業用途などの実際のアプリケーション向けの効率的かつ正確な3D再構成システムの開発を促進することを期待しています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has shown significant advantages in novel view synthesis (NVS), particularly in achieving high rendering speeds and high-quality results. However, its geometric accuracy in 3D reconstruction remains limited due to the lack of explicit geometric constraints during optimization. This paper introduces CDGS, a confidence-aware depth regularization approach developed to enhance 3DGS. We leverage multi-cue confidence maps of monocular depth estimation and sparse Structure-from-Motion depth to adaptively adjust depth supervision during the optimization process. Our method demonstrates improved geometric detail preservation in early training stages and achieves competitive performance in both NVS quality and geometric accuracy. Experiments on the publicly available Tanks and Temples benchmark dataset show that our method achieves more stable convergence behavior and more accurate geometric reconstruction results, with improvements of up to 2.31 dB in PSNR for NVS and consistently lower geometric errors in M3C2 distance metrics. Notably, our method reaches comparable F-scores to the original 3DGS with only 50% of the training iterations. We expect this work will facilitate the development of efficient and accurate 3D reconstruction systems for real-world applications such as digital twin creation, heritage preservation, or forestry applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google