LVI-GS: Tightly-coupled LiDAR-Visual-Inertial SLAM using 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) は、迅速なレンダリングと高忠実度のマッピングにおいてその能力を発揮しています。
このペーパーでは、3DGS と緊密に結合された LiDAR-視覚-慣性マッピング フレームワークである LVI-GS を紹介します。これは、LiDAR とイメージ センサーの相補的な特性を活用して、3D シーンの幾何学的構造と視覚的詳細の両方をキャプチャします。
この目的を達成するために、3D ガウスは色付けされた LiDAR ポイントから初期化され、微分可能なレンダリングを使用して最適化されます。
高忠実度のマッピングを実現するために、ピラミッドベースのトレーニング アプローチを導入して、マルチレベルの特徴を効果的に学習し、LiDAR 測定から得られる深度損失を組み込んで幾何学的特徴の認識を向上させます。
ガウス マップの拡張、キーフレームの選択、スレッド管理、カスタム CUDA アクセラレーションのための適切に設計された戦略を通じて、当社のフレームワークはリアルタイムの写真のようにリアルなマッピングを実現します。
最先端の 3D 再構成システムと比較して、私たちの方法の優れたパフォーマンスを評価するために数値実験が実行されます。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has shown its ability in rapid rendering and high-fidelity mapping. In this paper, we introduce LVI-GS, a tightly-coupled LiDAR-Visual-Inertial mapping framework with 3DGS, which leverages the complementary characteristics of LiDAR and image sensors to capture both geometric structures and visual details of 3D scenes. To this end, the 3D Gaussians are initialized from colourized LiDAR points and optimized using differentiable rendering. In order to achieve high-fidelity mapping, we introduce a pyramid-based training approach to effectively learn multi-level features and incorporate depth loss derived from LiDAR measurements to improve geometric feature perception. Through well-designed strategies for Gaussian-Map expansion, keyframe selection, thread management, and custom CUDA acceleration, our framework achieves real-time photo-realistic mapping. Numerical experiments are performed to evaluate the superior performance of our method compared to state-of-the-art 3D reconstruction systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google