An Iterative Task-Driven Framework for Resilient LiDAR Place Recognition in Adverse Weather

要約

Lidar Place認識（LPR）は、自律的なナビゲーションにおいて重要な役割を果たします。
しかし、既存のLPR方法は、雨、雪、霧などの有害な気象条件の下で堅牢性を維持するのに苦労しています。そこでは、気象による騒音やポイントの雲の劣化がライダーの信頼性と知覚の精度を損ないます。
これらの課題に取り組むために、反復的な学習戦略を介してLIDARデータ修復（LDR）モジュールとLIDAR場所認識（LPR）モジュールを統合する反復タスク駆動型フレームワーク（ITDNET）を提案します。
これらのモジュールは、パフォーマンスを向上させるための交互の最適化を備えた共同トレーニングエンドツーエンドです。
ITDNETの核となる理論的根拠は、LDRモジュールを活用して破損した点雲を回復し、クリーンデータとの構造的一貫性を保存し、それにより有害な天候のLPR精度を改善することです。
同時に、LPRタスクは、LDRモジュールのトレーニングをガイドするための特徴の擬似ラベルを提供し、LPRタスクとより効果的に整合します。
これを達成するために、最初にタスク駆動型のLPR損失と再構成損失を設計して、LDRモジュールの最適化を共同で監督します。
さらに、LDRモジュールの場合、周波数空間機能融合のためのデュアルドメインミキサー（DDM）ブロックとセマンティックガイドの修復用セマンティックアウェアジェネレーター（SAG）ブロックを提案します。
さらに、LPRモジュールには、多頻度変圧器（MFT）ブロックとウェーブレットピラミッドNetVlad（WPN）ブロックを導入して、マルチスケールで堅牢なグローバル記述子を集約します。
最後に、Weather-Kitti、Boreas、および提案されているWeather-Apolloデータセットに関する広範な実験は、ITDNETが既存のLPRメソッドを上回り、有害な天候で最先端のパフォーマンスを達成することを示しています。
データセットとコードは、https://github.com/grandzxw/itdnetで公開されます。

要約(オリジナル)

LiDAR place recognition (LPR) plays a vital role in autonomous navigation. However, existing LPR methods struggle to maintain robustness under adverse weather conditions such as rain, snow, and fog, where weather-induced noise and point cloud degradation impair LiDAR reliability and perception accuracy. To tackle these challenges, we propose an Iterative Task-Driven Framework (ITDNet), which integrates a LiDAR Data Restoration (LDR) module and a LiDAR Place Recognition (LPR) module through an iterative learning strategy. These modules are jointly trained end-to-end, with alternating optimization to enhance performance. The core rationale of ITDNet is to leverage the LDR module to recover the corrupted point clouds while preserving structural consistency with clean data, thereby improving LPR accuracy in adverse weather. Simultaneously, the LPR task provides feature pseudo-labels to guide the LDR module’s training, aligning it more effectively with the LPR task. To achieve this, we first design a task-driven LPR loss and a reconstruction loss to jointly supervise the optimization of the LDR module. Furthermore, for the LDR module, we propose a Dual-Domain Mixer (DDM) block for frequency-spatial feature fusion and a Semantic-Aware Generator (SAG) block for semantic-guided restoration. In addition, for the LPR module, we introduce a Multi-Frequency Transformer (MFT) block and a Wavelet Pyramid NetVLAD (WPN) block to aggregate multi-scale, robust global descriptors. Finally, extensive experiments on the Weather-KITTI, Boreas, and our proposed Weather-Apollo datasets demonstrate that, demonstrate that ITDNet outperforms existing LPR methods, achieving state-of-the-art performance in adverse weather. The datasets and code will be made publicly available at https://github.com/Grandzxw/ITDNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google