LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition

要約

場所認識は、GPSが無効な環境下で以前に訪れた場所を特定するために、自律走行車にとって最も重要なモジュールの1つである。センサフュージョンは、個々のセンサの弱点を克服する有効な手法と考えられている。近年、複数のセンサーからの情報を融合したマルチモーダルな場所認識が注目を集めている。しかし、既存のマルチモーダルな場所認識手法の多くは、限られた視野のカメラ画像のみを使用しており、異なるモダリティからの特徴間の不均衡を引き起こし、センサフュージョンの有効性を制限する。本論文では、頑健なマルチモーダル場所認識のためのLCPRと名付けられた新しいニューラルネットワークを紹介する。このニューラルネットワークは、LiDAR点群とマルチビューRGB画像を融合し、識別可能でヨー回転に不変な環境表現を生成する。マルチスケールアテンションベースのフュージョンモジュールは、環境の異なるモダリティからのパノラマビューとそれらの相関関係を完全に利用するために提案される。本手法をnuScenesデータセットで評価した結果、本手法は多視点カメラとLiDARデータを効果的に利用し、視点の変化に対する頑健性を維持しながら、場所の認識性能を向上させることができることが実験結果から示された。我々のオープンソースコードと事前学習済みモデルは https://github.com/ZhouZijie77/LCPR で入手可能である。

要約(オリジナル)

Place recognition is one of the most crucial modules for autonomous vehicles to identify places that were previously visited in GPS-invalid environments. Sensor fusion is considered an effective method to overcome the weaknesses of individual sensors. In recent years, multimodal place recognition fusing information from multiple sensors has gathered increasing attention. However, most existing multimodal place recognition methods only use limited field-of-view camera images, which leads to an imbalance between features from different modalities and limits the effectiveness of sensor fusion. In this paper, we present a novel neural network named LCPR for robust multimodal place recognition, which fuses LiDAR point clouds with multi-view RGB images to generate discriminative and yaw-rotation invariant representations of the environment. A multi-scale attention-based fusion module is proposed to fully exploit the panoramic views from different modalities of the environment and their correlations. We evaluate our method on the nuScenes dataset, and the experimental results show that our method can effectively utilize multi-view camera and LiDAR data to improve the place recognition performance while maintaining strong robustness to viewpoint changes. Our open-source code and pre-trained models are available at https://github.com/ZhouZijie77/LCPR .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL