MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes

要約

位置特定とマッピングは、自動運転車やロボット工学などのさまざまなアプリケーションにとって重要なタスクです。
屋外環境によってもたらされる課題は、その無限の特性により特別な複雑さをもたらします。
この研究では、境界のないシーンでの位置特定とマッピングのための LiDAR カメラ マルチモーダル融合システム MM-Gaussian を紹介します。
私たちのアプローチは、最近開発された 3D ガウシアンに触発されており、高いレンダリング品質と高速レンダリング速度を達成する際に優れた機能を実証しています。
具体的には、当社のシステムはソリッドステート LiDAR によって提供される幾何学的構造情報を最大限に活用し、境界のない屋外シナリオで視覚的なソリューションのみに依存する場合に発生する不正確な深度の問題に対処します。
さらに、ピクセルレベルの勾配降下法を活用した 3D ガウス点群を利用して、写真の色情報を最大限に活用し、リアルなレンダリング効果を実現します。
システムの堅牢性をさらに強化するために、位置特定が失敗した場合に正しい軌道に戻るのを支援する再位置特定モジュールを設計しました。
複数のシナリオで実施された実験により、私たちの方法の有効性が実証されました。

要約(オリジナル)

Localization and mapping are critical tasks for various applications such as autonomous vehicles and robotics. The challenges posed by outdoor environments present particular complexities due to their unbounded characteristics. In this work, we present MM-Gaussian, a LiDAR-camera multi-modal fusion system for localization and mapping in unbounded scenes. Our approach is inspired by the recently developed 3D Gaussians, which demonstrate remarkable capabilities in achieving high rendering quality and fast rendering speed. Specifically, our system fully utilizes the geometric structure information provided by solid-state LiDAR to address the problem of inaccurate depth encountered when relying solely on visual solutions in unbounded, outdoor scenarios. Additionally, we utilize 3D Gaussian point clouds, with the assistance of pixel-level gradient descent, to fully exploit the color information in photos, thereby achieving realistic rendering effects. To further bolster the robustness of our system, we designed a relocalization module, which assists in returning to the correct trajectory in the event of a localization failure. Experiments conducted in multiple scenarios demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google