L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection

要約

LiDAR ベースのビジョン システムは、自律ナビゲーションにとって重要な 3D オブジェクト検出に不可欠です。
ただし、LiDAR 点群の品質低下により、悪天候下ではパフォーマンスが低下するという問題があります。
LiDAR と耐候性 4D レーダーセンサーを融合することで、この問題が解決されると期待されています。
ただし、LiDAR と 4D レーダーはデータ品質や悪天候時の劣化の程度が大きく異なるため、これらの融合は困難です。
これらの問題に対処するために、当社は、LiDAR と 4D レーダーの融合を効果的に実現する、天候に強い 3D 物体検出方法である L4DR を導入します。
当社の L4DR には、センサー ギャップを調整するためのマルチモーダル エンコーディング (MME) およびフォアグラウンド対応ノイズ除去 (FAD) 技術が含まれています。これは、LiDAR と 4D レーダー間の初期融合の相補性を初めて探求したものです。
さらに、悪天候下でのセンサーのさまざまな程度の劣化に対処するために、マルチスケール ゲート フュージョン (MSGF) モジュールと組み合わせたインターモーダルおよびイントラモーダル ({IM}2 ) 並列特徴抽出バックボーンを設計します。
霧をシミュレートした VoD データセットの実験評価により、L4DR が気象条件の変化により適応できることが証明されました。
さまざまな霧レベルの下でパフォーマンスが大幅に向上し、従来の LiDAR のみのアプローチと比較して 3D mAP が最大 20.0% 向上します。
さらに、K-Radar データセットの結果は、現実世界の悪天候条件における L4DR の一貫したパフォーマンス向上を検証します。

要約(オリジナル)

LiDAR-based vision systems are integral for 3D object detection, which is crucial for autonomous navigation. However, they suffer from performance degradation in adverse weather conditions due to the quality deterioration of LiDAR point clouds. Fusing LiDAR with the weather-robust 4D radar sensor is expected to solve this problem. However, the fusion of LiDAR and 4D radar is challenging because they differ significantly in terms of data quality and the degree of degradation in adverse weather. To address these issues, we introduce L4DR, a weather-robust 3D object detection method that effectively achieves LiDAR and 4D Radar fusion. Our L4DR includes Multi-Modal Encoding (MME) and Foreground-Aware Denoising (FAD) technique to reconcile sensor gaps, which is the first exploration of the complementarity of early fusion between LiDAR and 4D radar. Additionally, we design an Inter-Modal and Intra-Modal ({IM}2 ) parallel feature extraction backbone coupled with a Multi-Scale Gated Fusion (MSGF) module to counteract the varying degrees of sensor degradation under adverse weather conditions. Experimental evaluation on a VoD dataset with simulated fog proves that L4DR is more adaptable to changing weather conditions. It delivers a significant performance increase under different fog levels, improving the 3D mAP by up to 20.0% over the traditional LiDAR-only approach. Moreover, the results on the K-Radar dataset validate the consistent performance improvement of L4DR in real-world adverse weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google