RaLF: Flow-based Global and Metric Radar Localization in LiDAR Maps

要約

自律ロボットにとってローカリゼーションは最も重要です。
カメラと LiDAR ベースのアプローチは広範囲に調査されていますが、悪天候や照明条件の影響を受けます。
したがって、レーダーセンサーは、そのような状況に対する本質的な堅牢性により、最近注目を集めています。
この論文では、場所認識とメトリック位置特定の両方に対処する方法を共同学習することにより、環境の LiDAR マップ内でレーダー スキャンの位置を特定するための新しいディープ ニューラル ネットワーク ベースのアプローチである RaLF を提案します。
RaLF は、レーダーおよび LiDAR 機能エンコーダー、グローバル記述子を生成する場所認識ヘッド、レーダー スキャンとマップの間の 3-DoF 変換を予測するメトリック ローカリゼーション ヘッドで構成されます。
クロスモーダルメトリクス学習を介して 2 つのモダリティ間の共有埋め込み空間を学習することで、場所認識タスクに取り組みます。
さらに、クエリ レーダー スキャンを LiDAR マップと位置合わせするピクセル レベルのフロー ベクトルを予測することで、メトリック ローカリゼーションを実行します。
私たちは、複数の実世界の運転データセットに対するアプローチを広範囲に評価し、RaLF が場所認識と計量位置特定の両方で最先端のパフォーマンスを達成することを示しました。
さらに、私たちのアプローチが、トレーニング中に使用されたものとは異なる都市やセンサーのセットアップに効果的に一般化できることを実証します。
コードとトレーニング済みモデルは http://ralf.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Localization is paramount for autonomous robots. While camera and LiDAR-based approaches have been extensively investigated, they are affected by adverse illumination and weather conditions. Therefore, radar sensors have recently gained attention due to their intrinsic robustness to such conditions. In this paper, we propose RaLF, a novel deep neural network-based approach for localizing radar scans in a LiDAR map of the environment, by jointly learning to address both place recognition and metric localization. RaLF is composed of radar and LiDAR feature encoders, a place recognition head that generates global descriptors, and a metric localization head that predicts the 3-DoF transformation between the radar scan and the map. We tackle the place recognition task by learning a shared embedding space between the two modalities via cross-modal metric learning. Additionally, we perform metric localization by predicting pixel-level flow vectors that align the query radar scan with the LiDAR map. We extensively evaluate our approach on multiple real-world driving datasets and show that RaLF achieves state-of-the-art performance for both place recognition and metric localization. Moreover, we demonstrate that our approach can effectively generalize to different cities and sensor setups than the ones used during training. We make the code and trained models publicly available at http://ralf.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google