Gaussian-LIC: Real-Time Photo-Realistic SLAM with Gaussian Splatting and LiDAR-Inertial-Camera Fusion

要約

この論文では、ガウス スプラッティングと LiDAR 慣性カメラ SLAM の組み合わせに基づいたリアルタイムのフォトリアリスティックな SLAM 手法を紹介します。
既存の放射フィールドベースの SLAM システムのほとんどは、RGB-D または RGB センサーを備えた、境界のある屋内環境に主に焦点を当てています。
ただし、境界のないシーンに拡張したり、激しい動きや照明の変化などの悪条件に遭遇したりすると、低下する傾向があります。
対照的に、一般的なシナリオを指向した当社のアプローチでは、LiDAR、IMU、カメラをさらに緊密に融合して、堅牢な姿勢推定と写真のようにリアルなオンライン マッピングを実現します。
LiDAR によって観察されない領域を補償するために、画像からの三角形化された視点と、3D ガウス分布を初期化するための LiDAR ポイントの両方を統合することを提案します。
さらに、空のモデリングやカメラ露出の変化など、高品位な描写を実現しました。
特に、当社は純粋に C++ と CUDA を使用してシステムを実装し、ガウスベースのシーン表現のオンライン最適化を加速する一連の戦略を細心の注意を払って設計しています。
広範な実験により、私たちの方法がリアルタイム機能を維持しながら他の方法よりも優れていることが実証されました。
印象的なことに、フォトリアリスティックなマッピングに関しては、推定ポーズを使用した私たちの方法は、マッピングに特権的なグランドトゥルースポーズを利用する比較されたすべてのアプローチをも上回っています。
コードはプロジェクト ページ https://xingxingzuo.github.io/gaussian_lic で公開されます。

要約(オリジナル)

In this paper, we present a real-time photo-realistic SLAM method based on marrying Gaussian Splatting with LiDAR-Inertial-Camera SLAM. Most existing radiance-field-based SLAM systems mainly focus on bounded indoor environments, equipped with RGB-D or RGB sensors. However, they are prone to decline when expanding to unbounded scenes or encountering adverse conditions, such as violent motions and changing illumination. In contrast, oriented to general scenarios, our approach additionally tightly fuses LiDAR, IMU, and camera for robust pose estimation and photo-realistic online mapping. To compensate for regions unobserved by the LiDAR, we propose to integrate both the triangulated visual points from images and LiDAR points for initializing 3D Gaussians. In addition, the modeling of the sky and varying camera exposure have been realized for high-quality rendering. Notably, we implement our system purely with C++ and CUDA, and meticulously design a series of strategies to accelerate the online optimization of the Gaussian-based scene representation. Extensive experiments demonstrate that our method outperforms its counterparts while maintaining real-time capability. Impressively, regarding photo-realistic mapping, our method with our estimated poses even surpasses all the compared approaches that utilize privileged ground-truth poses for mapping. Our code will be released on project page https://xingxingzuo.github.io/gaussian_lic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google