LIV-GaussMap: LiDAR-Inertial-Visual Fusion for Real-time 3D Radiance Field Map Rendering

要約

当社は、微分可能な \pre{表面スプラッティング }\now{ガウシアン} に基づいて構築され、マッピングの忠実度、品質、構造精度を向上させる、統合された高精度の LiDAR、慣性、視覚 (LIV) マルチモーダル センサー融合マッピング システムを導入します。
注目すべきことに、これは LiDAR と視覚と慣性センサーの融合のための密結合マップの新しい形式でもあります。
このシステムは、LiDAR と視覚データの相補的な特性を活用して、大規模な 3D シーンの幾何学的構造をキャプチャし、その視覚的な表面情報を高い忠実度で復元します。
シーンの表面ガウスの初期化と各フレームのセンサーの姿勢は、サイズ適応ボクセルの機能を備えた LiDAR 慣性システムを使用して取得されます。
次に、視覚から導出された測光勾配を使用してガウス分布を最適化および洗練し、品質と密度を最適化しました。
私たちの方法は、ソリッドステートおよび機械式 LiDAR を含むさまざまなタイプの LiDAR と互換性があり、反復スキャン モードと非反復スキャン モードの両方をサポートします。
LiDAR を通じて構造構築を強化し、多様な LIV データセットにわたるフォトリアリスティックなレンダリングのリアルタイム生成を促進します。
これは、デジタル ツインや仮想現実向けのリアルタイムのフォトリアリスティックなシーンを生成する際に顕著な回復力と多用途性を示し、同時にリアルタイム SLAM やロボット工学の領域にも潜在的な適用可能性を保持しています。
私たちはコミュニティに利益をもたらすために、ソフトウェアとハ​​ードウェア、および自己収集したデータセットをリリースします。

要約(オリジナル)

We introduce an integrated precise LiDAR, Inertial, and Visual (LIV) multimodal sensor fused mapping system that builds on the differentiable \pre{surface splatting }\now{Gaussians} to improve the mapping fidelity, quality, and structural accuracy. Notably, this is also a novel form of tightly coupled map for LiDAR-visual-inertial sensor fusion. This system leverages the complementary characteristics of LiDAR and visual data to capture the geometric structures of large-scale 3D scenes and restore their visual surface information with high fidelity. The initialization for the scene’s surface Gaussians and the sensor’s poses of each frame are obtained using a LiDAR-inertial system with the feature of size-adaptive voxels. Then, we optimized and refined the Gaussians using visual-derived photometric gradients to optimize their quality and density. Our method is compatible with various types of LiDAR, including solid-state and mechanical LiDAR, supporting both repetitive and non-repetitive scanning modes. Bolstering structure construction through LiDAR and facilitating real-time generation of photorealistic renderings across diverse LIV datasets. It showcases notable resilience and versatility in generating real-time photorealistic scenes potentially for digital twins and virtual reality, while also holding potential applicability in real-time SLAM and robotics domains. We release our software and hardware and self-collected datasets to benefit the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google