FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry

要約

この論文では、SLAM タスクで正確かつロバストな状態推定を実現し、リアルタイムの車載ロボット アプリケーションに大きな可能性をもたらす、高速で直接的な LiDAR 慣性視覚オドメトリ フレームワークである FAST-LIVO2 を提案します。
FAST-LIVO2 は、ESIKF を通じて IMU、LiDAR、画像測​​定を効率的に融合します。
異種 LiDAR と画像測定の間の寸法の不一致に対処するために、カルマン フィルターで逐次更新戦略を使用します。
効率を高めるために、ビジュアルと LiDAR の両方のフュージョンに直接手法を使用します。この手法では、LiDAR モジュールはエッジや平面の特徴を抽出せずに生のポイントを登録し、ビジュアル モジュールは ORB や FAST コーナーの特徴を抽出することなく直接測光誤差を最小限に抑えます。
視覚的測定と LiDAR 測定の両方の融合は、単一の統合されたボクセル マップに基づいており、LiDAR モジュールは新しい LiDAR スキャンを登録するための幾何学的構造を構築し、視覚的モジュールは画像パッチを LiDAR ポイントに添付します。
画像の位置合わせの精度を高めるために、ボクセル マップ内の LiDAR ポイントからの事前平面を使用し (さらに平面事前の調整も行い)、新しい画像が位置合わせされた後に参照パッチを動的に更新します。
さらに、画像位置合わせの堅牢性を強化するために、FAST-LIVO2 はオンデマンドのレイキャスト操作を採用し、画像の露出時間をリアルタイムで推定します。
最後に、FAST-LIVO2 の 3 つのアプリケーションについて詳しく説明します。リアルタイムのオンボード ナビゲーションのためのシステムの計算効率を示す UAV オンボード ナビゲーション、システムのマッピング精度を示す航空機マッピング、および適合性を強調する 3D モデル レンダリング (メッシュ ベースおよび NeRF ベース)
後続のレンダリング タスクのために再構築された密なマップの。
私たちはロボット工学コミュニティに利益をもたらすために、GitHub でコード、データセット、アプリケーションをオープンソースにしています。

要約(オリジナル)

This paper proposes FAST-LIVO2: a fast, direct LiDAR-inertial-visual odometry framework to achieve accurate and robust state estimation in SLAM tasks and provide great potential in real-time, onboard robotic applications. FAST-LIVO2 fuses the IMU, LiDAR and image measurements efficiently through an ESIKF. To address the dimension mismatch between the heterogeneous LiDAR and image measurements, we use a sequential update strategy in the Kalman filter. To enhance the efficiency, we use direct methods for both the visual and LiDAR fusion, where the LiDAR module registers raw points without extracting edge or plane features and the visual module minimizes direct photometric errors without extracting ORB or FAST corner features. The fusion of both visual and LiDAR measurements is based on a single unified voxel map where the LiDAR module constructs the geometric structure for registering new LiDAR scans and the visual module attaches image patches to the LiDAR points. To enhance the accuracy of image alignment, we use plane priors from the LiDAR points in the voxel map (and even refine the plane prior) and update the reference patch dynamically after new images are aligned. Furthermore, to enhance the robustness of image alignment, FAST-LIVO2 employs an on-demanding raycast operation and estimates the image exposure time in real time. Lastly, we detail three applications of FAST-LIVO2: UAV onboard navigation demonstrating the system’s computation efficiency for real-time onboard navigation, airborne mapping showcasing the system’s mapping accuracy, and 3D model rendering (mesh-based and NeRF-based) underscoring the suitability of our reconstructed dense map for subsequent rendering tasks. We open source our code, dataset and application on GitHub to benefit the robotics community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google