AVM-SLAM: Semantic Visual SLAM with Multi-Sensor Fusion in a Bird’s Eye View for Automated Valet Parking

要約

自動バレーパーキング (AVP) タスクでは、照明が不十分で、テクスチャがまばらで、反復的な構造、ダイナミックなシーン、GPS がないなど、困難なガレージ環境での正確な位置特定が非常に重要です。
これらの課題に対処するために、私たちの研究では、鳥瞰図 (BEV) でのマルチセンサー融合を備えた最先端のセマンティックビジュアル SLAM アーキテクチャである AVM-SLAM を導入しています。
この新しいフレームワークは、4 台の魚眼カメラ、ホイール エンコーダ、および慣性測定ユニット (IMU) の機能を相乗して、堅牢な SLAM システムを構築します。
私たちのアプローチのユニークな点は、BEV 画像内でのフレア除去技術の実装であり、畳み込みニューラル ネットワークによる路面標示の検出と意味論的特徴抽出を大幅に強化して、優れたマッピングと位置特定を実現します。
私たちの取り組みは、テクスチャが繰り返される環境によってもたらされる課題に適切に対処するように設計されたセマンティック事前認定 (SPQ) モジュールの先駆者でもあり、それによってループ検出とシステムの堅牢性を強化します。
AVM-SLAM の有効性と回復力を実証するために、https://yale-cv.github.io/avm-slam_dataset からアクセスできる地下ガレージの特殊なマルチセンサーと高解像度のデータセットをリリースし、さらなる調査を奨励しています。
同様の設定内でのアプローチの検証。

要約(オリジナル)

Accurate localization in challenging garage environments — marked by poor lighting, sparse textures, repetitive structures, dynamic scenes, and the absence of GPS — is crucial for automated valet parking (AVP) tasks. Addressing these challenges, our research introduces AVM-SLAM, a cutting-edge semantic visual SLAM architecture with multi-sensor fusion in a bird’s eye view (BEV). This novel framework synergizes the capabilities of four fisheye cameras, wheel encoders, and an inertial measurement unit (IMU) to construct a robust SLAM system. Unique to our approach is the implementation of a flare removal technique within the BEV imagery, significantly enhancing road marking detection and semantic feature extraction by convolutional neural networks for superior mapping and localization. Our work also pioneers a semantic pre-qualification (SPQ) module, designed to adeptly handle the challenges posed by environments with repetitive textures, thereby enhancing loop detection and system robustness. To demonstrate the effectiveness and resilience of AVM-SLAM, we have released a specialized multi-sensor and high-resolution dataset of an underground garage, accessible at https://yale-cv.github.io/avm-slam_dataset, encouraging further exploration and validation of our approach within similar settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google