LIV-GaussMap: LiDAR-Inertial-Visual Fusion for Real-time 3D Radiance Field Map Rendering

要約

当社は、微分可能な表面スプラッティングに基づいて構築され、マッピングの忠実度、品質、構造精度を向上させる、統合された高精度の LiDAR、慣性、および視覚 (LIV) マルチモーダル センサー融合マッピング システムを導入します。
注目すべきことに、これは LiDAR と視覚と慣性センサーの融合のための密結合マップの新しい形式でもあります。
このシステムは、LiDAR と視覚データの相補的な特性を活用して、大規模な 3D シーンの幾何学的構造をキャプチャし、その視覚的な表面情報を高い忠実度で復元します。
表面ガウス シーンの初期ポーズは、サイズ適応ボクセルを備えた LiDAR 慣性システムを使用して取得されます。
次に、視覚から導出された測光勾配によってガウス分布を最適化および洗練し、LiDAR 測定の品質と密度を最適化しました。
私たちの方法は、ソリッドステートおよび機械式 LiDAR を含むさまざまなタイプの LiDAR と互換性があり、反復スキャン モードと非反復スキャン モードの両方をサポートします。
LiDAR を通じて構造構築を強化し、多様な LIV データセットにわたるフォトリアリスティックなレンダリングのリアルタイム生成を促進します。
これは、デジタル ツインや仮想現実向けのリアルタイムのフォトリアリスティックなシーンを生成する際に顕著な回復力と多用途性を示し、同時にリアルタイム SLAM やロボット工学の領域にも潜在的な適用性を保持します。
私たちはコミュニティに利益をもたらすために、ソフトウェア、ハードウェア、および自己収集したデータセットを Github\footnote[3]{https://github.com/sheng00125/LIV-GaussMap} でリリースしています。

要約(オリジナル)

We introduce an integrated precise LiDAR, Inertial, and Visual (LIV) multi-modal sensor fused mapping system that builds on the differentiable surface splatting to improve the mapping fidelity, quality, and structural accuracy. Notably, this is also a novel form of tightly coupled map for LiDAR-visual-inertial sensor fusion. This system leverages the complementary characteristics of LiDAR and visual data to capture the geometric structures of large-scale 3D scenes and restore their visual surface information with high fidelity. The initial poses for surface Gaussian scenes are obtained using a LiDAR-inertial system with size-adaptive voxels. Then, we optimized and refined the Gaussians by visual-derived photometric gradients to optimize the quality and density of LiDAR measurements. Our method is compatible with various types of LiDAR, including solid-state and mechanical LiDAR, supporting both repetitive and non-repetitive scanning modes. bolstering structure construction through LiDAR and facilitating real-time generation of photorealistic renderings across diverse LIV datasets. It showcases notable resilience and versatility in generating real-time photorealistic scenes potentially for digital twins and virtual reality while also holding potential applicability in real-time SLAM and robotics domains. We release our software and hardware and self-collected datasets on Github\footnote[3]{https://github.com/sheng00125/LIV-GaussMap} to benefit the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google