MutualForce: Mutual-Aware Enhancement for 4D Radar-LiDAR 3D Object Detection

要約

レーダーとLiDARは、LiDARが豊富な構造情報を提供し、レーダーが悪天候下でも高い堅牢性を発揮するため、自動運転に広く使用されています。
最近の研究では、レーダーと LiDAR 点群を融合することの有効性が強調されています。
ただし、モダリティの不整合や特徴抽出中の情報損失による課題が残っています。
これらの問題に対処するために、私たちはそれらの表現を相互に強化する 4D レーダーと LiDAR のフレームワークを提案します。
最初に、レーダーからの指標特徴は、レーダーと LiDAR の両方の幾何学的特徴の学習をガイドするために利用されます。
その後、スパース性ギャップを軽減するために、LiDAR からの形状情報を使用してレーダー BEV 機能が強化されます。
デルフト眺望 (VoD) データセットに関する広範な実験により、既存の手法に対するこのアプローチの優位性が実証され、エリア全体で 71.76%、走行通路内で 86.36\% という最高の mAP が達成されました。
特に自動車の場合、強力な指示機能と対称形状により、AP が 4.17% および 4.20% 向上します。

要約(オリジナル)

Radar and LiDAR have been widely used in autonomous driving as LiDAR provides rich structure information, and radar demonstrates high robustness under adverse weather. Recent studies highlight the effectiveness of fusing radar and LiDAR point clouds. However, challenges remain due to the modality misalignment and information loss during feature extractions. To address these issues, we propose a 4D radar-LiDAR framework to mutually enhance their representations. Initially, the indicative features from radar are utilized to guide both radar and LiDAR geometric feature learning. Subsequently, to mitigate their sparsity gap, the shape information from LiDAR is used to enrich radar BEV features. Extensive experiments on the View-of-Delft (VoD) dataset demonstrate our approach’s superiority over existing methods, achieving the highest mAP of 71.76% across the entire area and 86.36\% within the driving corridor. Especially for cars, we improve the AP by 4.17% and 4.20% due to the strong indicative features and symmetric shapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google