Complementing Onboard Sensors with Satellite Map: A New Perspective for HD Map Construction

要約

高精細 (HD) マップは自動運転システムにおいて重要な役割を果たします。
最近の方法では、車両搭載センサーから取得した情報に基づいて HD マップをリアルタイムで構築することが試みられています。
ただし、長距離検出能力が弱いなど、車載センサーの固有の制限により、これらの方法のパフォーマンスは車両周囲の環境の影響を大きく受けます。
この研究では、衛星地図で車載センサーを補完することで、衛星地図の広範囲のカバー機能を活用して HD 地図構築方法のパフォーマンスを向上できることを実証します。
さらなる研究を目的として、nuScenes データセットの補完的なデータセットとして衛星地図タイルをリリースします。
一方、衛星地図情報と既存の方法をより適切に融合できるようにする階層的融合モジュールを提案します。
具体的には、セグメンテーションと距離に基づいてアテンション マスクを設計し、クロス アテンション メカニズムを適用して、オンボードの鳥瞰図 (BEV) 機能と衛星機能を機能レベルの融合で融合します。
2 つの機能間の位置ずれの影響を軽減するために、BEV レベルの融合での連結前に位置合わせモジュールが導入されます。
拡張された nuScenes データセットの実験結果は、3 つの既存の HD マップ構築方法へのモジュールのシームレスな統合を示しています。
これにより、HD マップのセマンティック セグメンテーションとインスタンス検出タスクの両方でパフォーマンスが大幅に向上します。

要約(オリジナル)

High-Definition (HD) maps play a crucial role in autonomous driving systems. Recent methods have attempted to construct HD maps in real-time based on information obtained from vehicle onboard sensors. However, the performance of these methods is significantly susceptible to the environment surrounding the vehicle due to the inherent limitation of onboard sensors, such as weak capacity for long-range detection. In this study, we demonstrate that supplementing onboard sensors with satellite maps can enhance the performance of HD map construction methods, leveraging the broad coverage capability of satellite maps. For the purpose of further research, we release the satellite map tiles as a complementary dataset of nuScenes dataset. Meanwhile, we propose a hierarchical fusion module that enables better fusion of satellite maps information with existing methods. Specifically, we design an attention mask based on segmentation and distance, applying the cross-attention mechanism to fuse onboard Bird’s Eye View (BEV) features and satellite features in feature-level fusion. An alignment module is introduced before concatenation in BEV-level fusion to mitigate the impact of misalignment between the two features. The experimental results on the augmented nuScenes dataset showcase the seamless integration of our module into three existing HD map construction methods. It notably enhances their performance in both HD map semantic segmentation and instance detection tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google