Multiview Geometric Regularization of Gaussian Splatting for Accurate Radiance Fields

要約

2Dガウスのスプラッティングやガウスの不透明度フィールドなどの最近の方法は、優れたレンダリング品質を保持しながら、3Dガウスのスプラッティングの幾何学的な不正確さに対処することを目指しています。
ただし、これらのアプローチは、特にポイントごとの外観モデリングとシングルビューの最適化制約のために、特に視点で大きな色の変動を持つシーンでスムーズで信頼できるジオメトリを再構築するのに苦労しています。
このホワイトペーパーでは、マルチビューステレオ（MVS）深度、RGB、および通常の制約をガウスのスプラットの初期化と最適化に統合する効果的なマルチビュー幾何学的正規化戦略を提案します。
私たちの重要な洞察は、MVS由来の深さポイントとガウスのスプラッティングが最適化された位置との補完的な関係です。MVSは、ローカルパッチベースのマッチングとエピポーラの制約を通じて高い色変動の領域でのジオメトリを堅牢に推定しますが、ガウスのスプラットは、より信頼性が高く、より軽度の深さの推定値を提供します。
この洞察を活用するために、MVS深度情報をガウスのスプラッティング最適化に効果的に統合して、不確実性の推定で深さベースのマルチビューの中央値の相対深さ損失を導入します。
また、ガウスが準最適な位置に陥るのを避けるために、MVS誘導ガウスのスプラットの初期化を提案します。
広範な実験では、私たちのアプローチがこれらの強度を正常に組み合わせて、幾何学的精度と多様な屋内および屋外のシーン全体で品質を向上させることを検証します。

要約(オリジナル)

Recent methods, such as 2D Gaussian Splatting and Gaussian Opacity Fields, have aimed to address the geometric inaccuracies of 3D Gaussian Splatting while retaining its superior rendering quality. However, these approaches still struggle to reconstruct smooth and reliable geometry, particularly in scenes with significant color variation across viewpoints, due to their per-point appearance modeling and single-view optimization constraints. In this paper, we propose an effective multiview geometric regularization strategy that integrates multiview stereo (MVS) depth, RGB, and normal constraints into Gaussian Splatting initialization and optimization. Our key insight is the complementary relationship between MVS-derived depth points and Gaussian Splatting-optimized positions: MVS robustly estimates geometry in regions of high color variation through local patch-based matching and epipolar constraints, whereas Gaussian Splatting provides more reliable and less noisy depth estimates near object boundaries and regions with lower color variation. To leverage this insight, we introduce a median depth-based multiview relative depth loss with uncertainty estimation, effectively integrating MVS depth information into Gaussian Splatting optimization. We also propose an MVS-guided Gaussian Splatting initialization to avoid Gaussians falling into suboptimal positions. Extensive experiments validate that our approach successfully combines these strengths, enhancing both geometric accuracy and rendering quality across diverse indoor and outdoor scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google