Camera-LiDAR Fusion with Latent Contact for Place Recognition in Challenging Cross-Scenes

要約

大幅な進歩は見られましたが、視点の変化、季節の変化、シーンの変化がある環境で場所を認識することは依然として課題です。
単一のセンサーからの知覚情報のみに依存するだけでは、これらの問題に対処するには不十分です。
カメラとLiDARの相補性を認識し、マルチモーダル融合手法が注目を集めている。
既存のマルチモーダル フュージョン作業における情報の無駄に対処するために、この論文では、画像、点群、およびフュージョン ブランチのカスケードで構成される新しい 3 チャネルの場所記述子を導入します。
具体的には、融合ベースのブランチではデュアルステージ パイプラインを採用し、潜在的なコンタクトを持つ 2 つのモダリティ間の相関関係を活用して、情報の相互作用と融合を促進します。
KITTI、NCLT、USVInland、およびキャンパス データセットに関する広範な実験により、提案された場所記述子が最先端のアプローチとして機能することが実証され、困難なシナリオにおけるその堅牢性と汎用性が確認されました。

要約(オリジナル)

Although significant progress has been made, achieving place recognition in environments with perspective changes, seasonal variations, and scene transformations remains challenging. Relying solely on perception information from a single sensor is insufficient to address these issues. Recognizing the complementarity between cameras and LiDAR, multi-modal fusion methods have attracted attention. To address the information waste in existing multi-modal fusion works, this paper introduces a novel three-channel place descriptor, which consists of a cascade of image, point cloud, and fusion branches. Specifically, the fusion-based branch employs a dual-stage pipeline, leveraging the correlation between the two modalities with latent contacts, thereby facilitating information interaction and fusion. Extensive experiments on the KITTI, NCLT, USVInland, and the campus dataset demonstrate that the proposed place descriptor stands as the state-of-the-art approach, confirming its robustness and generality in challenging scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google