GS-LIVO: Real-Time LiDAR, Inertial, and Visual Multi-sensor Fused Odometry with Gaussian Mapping

要約

近年、3D ガウス スプラッティング (3D-GS) が新しいシーン表現アプローチとして登場しました。
しかし、既存のビジョンのみの 3D-GS 手法は、点群の高密度化のために手作りのヒューリスティックに依存することが多く、オクルージョンの処理や GPU メモリと計算の大量消費という課題に直面しています。
LiDAR-Inertial-Visual（LIV）センサー構成は、カメラからの豊富なテクスチャ情報、LiDAR からの正確な幾何学的測定、IMU からの高周波モーションデータといった相補的なセンシング特性を活用することにより、位置特定と高密度マッピングにおいて優れたパフォーマンスを実証しました。
これに触発されて、私たちは新しいリアルタイム ガウスベースの同時位置特定およびマッピング (SLAM) システムを提案します。
私たちのマップ システムは、グローバル ガウス マップとガウスのスライディング ウィンドウ、IESKF ベースのオドメトリで構成されています。
グローバル ガウス マップは、再帰的なオクツリーに編成されたハッシュ インデックス付きボクセルで構成され、さまざまな詳細レベルとスケールに適応しながら、まばらな空間ボリュームを効果的にカバーします。
ガウス マップはマルチセンサー フュージョンによって初期化され、測光勾配で最適化されます。
私たちのシステムはガウスのスライディング ウィンドウを段階的に維持し、スライディング ウィンドウ内でマップを最適化するだけで GPU の計算とメモリ消費を大幅に削減します。
さらに、ガウス マップのリアルタイム更新とレンダリングを利用して、反復誤差状態カルマン フィルター (IESKF) と密結合したマルチセンサー フュージョン オドメトリを実装します。
私たちのシステムは、NVIDIA Jetson Orin NX プラットフォームで実証された、リソースに制約のある組み込みシステムに展開可能な初のリアルタイム ガウス ベースの SLAM フレームワークを表します。
このフレームワークは、堅牢なマルチセンサー フュージョン機能を維持しながら、リアルタイム パフォーマンスを実現します。
すべての実装アルゴリズム、ハードウェア設計、CAD モデルは公開されます。

要約(オリジナル)

In recent years, 3D Gaussian splatting (3D-GS) has emerged as a novel scene representation approach. However, existing vision-only 3D-GS methods often rely on hand-crafted heuristics for point-cloud densification and face challenges in handling occlusions and high GPU memory and computation consumption. LiDAR-Inertial-Visual (LIV) sensor configuration has demonstrated superior performance in localization and dense mapping by leveraging complementary sensing characteristics: rich texture information from cameras, precise geometric measurements from LiDAR, and high-frequency motion data from IMU. Inspired by this, we propose a novel real-time Gaussian-based simultaneous localization and mapping (SLAM) system. Our map system comprises a global Gaussian map and a sliding window of Gaussians, along with an IESKF-based odometry. The global Gaussian map consists of hash-indexed voxels organized in a recursive octree, effectively covering sparse spatial volumes while adapting to different levels of detail and scales. The Gaussian map is initialized through multi-sensor fusion and optimized with photometric gradients. Our system incrementally maintains a sliding window of Gaussians, significantly reducing GPU computation and memory consumption by only optimizing the map within the sliding window. Moreover, we implement a tightly coupled multi-sensor fusion odometry with an iterative error state Kalman filter (IESKF), leveraging real-time updating and rendering of the Gaussian map. Our system represents the first real-time Gaussian-based SLAM framework deployable on resource-constrained embedded systems, demonstrated on the NVIDIA Jetson Orin NX platform. The framework achieves real-time performance while maintaining robust multi-sensor fusion capabilities. All implementation algorithms, hardware designs, and CAD models will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google