Thermal-LiDAR Fusion for Robust Tunnel Localization in GNSS-Denied and Low-Visibility Conditions

要約

自律的な航海の大幅な進歩にもかかわらず、トンネル、都市災害ゾーン、地下構造などの危険な環境での信頼できるローカリゼーションを確保することには、重大なギャップが残っています。
トンネルは、ユニークな困難なシナリオを提示します。GNSS信号損失に陥りやすいだけでなく、繰り返しの壁や照明不良のために視覚的なローカリゼーションの機能はほとんど提供されません。
これらの条件は、識別可能な環境機能に依存する従来の視覚ベースおよびライダーベースのシステムを分解します。
これに対処するために、トンネルやその他の知覚的に劣化した環境での堅牢なローカリゼーションを可能にするために、サーマルカメラをライダーと統合する新しいセンサー融合フレームワークを提案します。
サーマルカメラは、低光または煙の状態で回復力を提供しますが、Lidarは正確な深さの知覚と構造認識を提供します。
これらのセンサーを組み合わせることにより、当社のフレームワークは、多様で動的な環境にわたって継続的かつ正確なローカリゼーションを保証します。
拡張されたKalmanフィルター（EKF）を使用してマルチセンサー入力を融合し、視覚的な臭気とスラム（同時ローカリゼーションとマッピング）技術をレバレッジしてセンサーデータを処理し、GNSSが重む環境でも堅牢なモーション推定とマッピングを可能にします。
センサーモダリティのこの融合は、システムの回復力を高めるだけでなく、接続された車両および自律車両（Cavs）のサイバー物理システムにスケーラブルなソリューションを提供します。
フレームワークを検証するために、トンネル環境でテストを実施し、センサーの劣化と視認性の課題をシミュレートします。
結果は、私たちの方法が、トンネルの特徴のないジオメトリのために標準的なアプローチが悪化する正確なローカリゼーションを維持することを示しています。
フレームワークの汎用性により、自動運転車、検査ロボット、および制約された知覚的に貧弱な環境で動作する他のサイバー物理システムの有望なソリューションになります。

要約(オリジナル)

Despite significant progress in autonomous navigation, a critical gap remains in ensuring reliable localization in hazardous environments such as tunnels, urban disaster zones, and underground structures. Tunnels present a uniquely difficult scenario: they are not only prone to GNSS signal loss, but also provide little features for visual localization due to their repetitive walls and poor lighting. These conditions degrade conventional vision-based and LiDAR-based systems, which rely on distinguishable environmental features. To address this, we propose a novel sensor fusion framework that integrates a thermal camera with a LiDAR to enable robust localization in tunnels and other perceptually degraded environments. The thermal camera provides resilience in low-light or smoke conditions, while the LiDAR delivers precise depth perception and structural awareness. By combining these sensors, our framework ensures continuous and accurate localization across diverse and dynamic environments. We use an Extended Kalman Filter (EKF) to fuse multi-sensor inputs, and leverages visual odometry and SLAM (Simultaneous Localization and Mapping) techniques to process the sensor data, enabling robust motion estimation and mapping even in GNSS-denied environments. This fusion of sensor modalities not only enhances system resilience but also provides a scalable solution for cyber-physical systems in connected and autonomous vehicles (CAVs). To validate the framework, we conduct tests in a tunnel environment, simulating sensor degradation and visibility challenges. The results demonstrate that our method sustains accurate localization where standard approaches deteriorate due to the tunnels featureless geometry. The frameworks versatility makes it a promising solution for autonomous vehicles, inspection robots, and other cyber-physical systems operating in constrained, perceptually poor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google