LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition

要約

場所認識は、自動運転車が GPS が無効な環境で以前に訪れた場所を識別するための最も重要なモジュールの 1 つです。
センサーフュージョンは、個々のセンサーの弱点を克服する効果的な方法と考えられています。
近年、複数のセンサーからの情報を融合したマルチモーダルな場所認識が注目を集めています。
しかし、既存のマルチモーダル場所認識手法のほとんどは、限られた視野のカメラ画像のみを使用するため、異なるモダリティの特徴間の不均衡が生じ、センサー フュージョンの有効性が制限されます。
この論文では、堅牢なマルチモーダルな場所認識のための LCPR と呼ばれる新しいニューラル ネットワークを紹介します。これは、LiDAR 点群とマルチビュー RGB 画像を融合して、環境の識別的でヨー回転の不変表現を生成します。
環境のさまざまなモダリティとそれらの相関関係からのパノラマビューを十分に活用するために、マルチスケールの注意ベースの融合モジュールが提案されています。
nuScenes データセットで私たちの手法を評価したところ、実験結果は、私たちの手法がマルチビュー カメラと LiDAR データを効果的に利用して、視点の変更に対する強いロバスト性を維持しながら、場所認識パフォーマンスを向上させることができることを示しています。
私たちのオープンソース コードと事前トレーニングされたモデルは https://github.com/ZhouZijie77/LCPR で入手できます。

要約(オリジナル)

Place recognition is one of the most crucial modules for autonomous vehicles to identify places that were previously visited in GPS-invalid environments. Sensor fusion is considered an effective method to overcome the weaknesses of individual sensors. In recent years, multimodal place recognition fusing information from multiple sensors has gathered increasing attention. However, most existing multimodal place recognition methods only use limited field-of-view camera images, which leads to an imbalance between features from different modalities and limits the effectiveness of sensor fusion. In this paper, we present a novel neural network named LCPR for robust multimodal place recognition, which fuses LiDAR point clouds with multi-view RGB images to generate discriminative and yaw-rotation invariant representations of the environment. A multi-scale attention-based fusion module is proposed to fully exploit the panoramic views from different modalities of the environment and their correlations. We evaluate our method on the nuScenes dataset, and the experimental results show that our method can effectively utilize multi-view camera and LiDAR data to improve the place recognition performance while maintaining strong robustness to viewpoint changes. Our open-source code and pre-trained models are available at https://github.com/ZhouZijie77/LCPR .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google