GS-SDF: LiDAR-Augmented Gaussian Splatting and Neural SDF for Geometrically Consistent Rendering and Reconstruction

要約

デジタル双子は、自律運転と具体化された人工知能の開発の基本です。
ただし、高粒度の表面再構築と高忠実度のレンダリングを達成することは依然として課題です。
Gaussian Spluttingは効率的なフォトリアリスティックなレンダリングを提供しますが、ロボット工学アプリケーションでの断片化されたプリミティブとまばらな観察データによる幾何学的な矛盾と闘っています。
レンダリング由来の制約に依存する既存の正則化方法は、多くの場合、複雑な環境で失敗します。
さらに、まばらなライダーデータとガウスのスプラッティングを効果的に統合することは依然として困難です。
私たちは、神経署名された距離フィールドとガウスの飛び散を相乗する統一されたLidar-Visualシステムを提案します。
正確なライダーポイントクラウドにより、訓練されたニューラル署名された距離フィールドがマニホールドジオメトリフィールドを提供できるようになります。これにより、物理的に接地された原始的な配置と地理的に一貫したレンダリングと再構築のための包括的な幾何学的正則化のためのSDFベースのガウス初期化を提供する動機があります。
実験は、優れた再構成の精度と多様な軌跡全体の品質を実証します。
コミュニティに利益をもたらすために、コードはhttps://github.com/hku-mars/gs-sdfでリリースされます。

要約(オリジナル)

Digital twins are fundamental to the development of autonomous driving and embodied artificial intelligence. However, achieving high-granularity surface reconstruction and high-fidelity rendering remains a challenge. Gaussian splatting offers efficient photorealistic rendering but struggles with geometric inconsistencies due to fragmented primitives and sparse observational data in robotics applications. Existing regularization methods, which rely on render-derived constraints, often fail in complex environments. Moreover, effectively integrating sparse LiDAR data with Gaussian splatting remains challenging. We propose a unified LiDAR-visual system that synergizes Gaussian splatting with a neural signed distance field. The accurate LiDAR point clouds enable a trained neural signed distance field to offer a manifold geometry field, This motivates us to offer an SDF-based Gaussian initialization for physically grounded primitive placement and a comprehensive geometric regularization for geometrically consistent rendering and reconstruction. Experiments demonstrate superior reconstruction accuracy and rendering quality across diverse trajectories. To benefit the community, the codes will be released at https://github.com/hku-mars/GS-SDF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google