LRFusionPR: A Polar BEV-Based LiDAR-Radar Fusion Network for Place Recognition

要約

自律運転では、GPSが除去した環境におけるグローバルなローカリゼーションには、場所認識が重要です。
LIDARが正確な範囲を提供するのに対し、Lidarとレーダーベースの場所認識方法は注目を集めていますが、レーダーは悪天候の回復力に優れています。
ただし、場所認識のためにLidar-Radar融合を効果的に活用することは依然として困難です。
レーダーデータの騒々しいとまばらな性質により、認識の精度をさらに向上させる可能性が制限されます。
さらに、不均一なレーダー構成により、統一されたクロスモダリティ融合フレームワークの開発が複雑になります。
この論文では、LRFusionPRを提案します。これにより、LiDARにシングルチップまたはスキャンレーダーのいずれかを融合させることで、認識の精度と堅牢性が向上します。
技術的には、デュアルブランチネットワークが提案されており、統一された極座標鳥瞰図（BEV）表現内で異なるモダリティを融合しています。
Fusionブランチでは、相互出席が使用され、交差モダリティ機能の相互作用が実行されます。
Fusionブランチからの知識は同時に蒸留ブランチに伝達されます。これにより、レーダーは堅牢性をさらに向上させるための唯一の入力として使用されます。
最終的に、両方のブランチの記述子が連結されており、場所検索用のマルチモーダルグローバル記述子が生成されます。
複数のデータセットでの広範な評価は、LRFusionPRがさまざまな気象条件の下で堅牢性を維持しながら、正確な場所認識を達成することを示しています。
オープンソースコードは、https：//github.com/qizs-bit/lrfusionprでリリースされます。

要約(オリジナル)

In autonomous driving, place recognition is critical for global localization in GPS-denied environments. LiDAR and radar-based place recognition methods have garnered increasing attention, as LiDAR provides precise ranging, whereas radar excels in adverse weather resilience. However, effectively leveraging LiDAR-radar fusion for place recognition remains challenging. The noisy and sparse nature of radar data limits its potential to further improve recognition accuracy. In addition, heterogeneous radar configurations complicate the development of unified cross-modality fusion frameworks. In this paper, we propose LRFusionPR, which improves recognition accuracy and robustness by fusing LiDAR with either single-chip or scanning radar. Technically, a dual-branch network is proposed to fuse different modalities within the unified polar coordinate bird’s eye view (BEV) representation. In the fusion branch, cross-attention is utilized to perform cross-modality feature interactions. The knowledge from the fusion branch is simultaneously transferred to the distillation branch, which takes radar as its only input to further improve the robustness. Ultimately, the descriptors from both branches are concatenated, producing the multimodal global descriptor for place retrieval. Extensive evaluations on multiple datasets demonstrate that our LRFusionPR achieves accurate place recognition, while maintaining robustness under varying weather conditions. Our open-source code will be released at https://github.com/QiZS-BIT/LRFusionPR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google