GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction

要約

具体化されたインテリジェンスには、大規模な現実世界のデータをシミュレートするために、正確な再構成とレンダリングが必要です。
3Dガウスの飛び散（3DG）は最近、リアルタイムのパフォーマンスで高品質の結果を実証していますが、大規模でテクスチャーのない領域を持つ屋内シーンでは依然として課題に直面しているため、クラウドの初期化が不十分で制約不足の最適化により不完全で騒々しい再構築が生じます。
自然にモデリングサーフェスに利点がある署名距離フィールド（SDF）の連続性に触発され、正確なジオメトリ再構成とリアルタイムレンダリングのために3DGとニューラル署名距離フィールド（SDF）を統合する統合された最適化フレームワークを提案します。
このフレームワークには、神経SDFフィールドが組み込まれており、ガウスの密度と剪定を導き、ガウス人が初期化されたポイントクラウドが不十分であってもシーンを正確にモデル化できるようにします。
同時に、ガウス派によって表されるジオメトリは、ポイントサンプリングを操縦することにより、SDFフィールドの効率を改善します。
さらに、通常のプライアーとエッジプライアーに基づいて2つの正規化項を導入して、テクスチャーのない領域の幾何学的な曖昧さを解決し、詳細の精度を高めます。
ScannetとScannet ++での広範な実験は、私たちの方法が表面再構成と新規ビューの合成の両方で最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Embodied intelligence requires precise reconstruction and rendering to simulate large-scale real-world data. Although 3D Gaussian Splatting (3DGS) has recently demonstrated high-quality results with real-time performance, it still faces challenges in indoor scenes with large, textureless regions, resulting in incomplete and noisy reconstructions due to poor point cloud initialization and underconstrained optimization. Inspired by the continuity of signed distance field (SDF), which naturally has advantages in modeling surfaces, we propose a unified optimization framework that integrates neural signed distance fields (SDFs) with 3DGS for accurate geometry reconstruction and real-time rendering. This framework incorporates a neural SDF field to guide the densification and pruning of Gaussians, enabling Gaussians to model scenes accurately even with poor initialized point clouds. Simultaneously, the geometry represented by Gaussians improves the efficiency of the SDF field by piloting its point sampling. Additionally, we introduce two regularization terms based on normal and edge priors to resolve geometric ambiguities in textureless areas and enhance detail accuracy. Extensive experiments in ScanNet and ScanNet++ show that our method achieves state-of-the-art performance in both surface reconstruction and novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google