NeMO: Neural Map Growing System for Spatiotemporal Fusion in Bird’s-Eye-View and BDD-Map Benchmark

要約

ビジョン中心の鳥瞰図 (BEV) 表現は、自動運転システム (ADS) にとって不可欠です。
履歴情報を活用したマルチフレーム時間融合は、より包括的な知覚結果を提供することが実証されています。
ほとんどの研究は固定設定の自己中心的なマップに焦点を当てていますが、長距離のローカル マップの生成についてはあまり研究されていません。
この研究では、読み取りおよび書き込み可能なビッグマップ、学習ベースの融合モジュール、および 2 つの相互作用メカニズムを利用してローカル マップを生成するための、NeMO と呼ばれる新しいパラダイムの概要を説明します。
すべての BEV グリッドの特徴分布が同一のパターンに従うという仮定に基づいて、すべてのグリッドに共有重みニューラル ネットワークを採用してビッグマップを更新します。
このパラダイムは、より長い時系列の融合と長距離 BEV ローカル マップの生成をサポートします。
さらに、車線、境界線、横断歩道などの地図要素の注釈を組み込んだ BDD100K ベースのデータセットである BDD-Map をリリースします。
NuScenes および BDD-Map データセットの実験では、NeMO が最先端のマップ セグメンテーション手法を上回るパフォーマンスを示しています。
また、より包括的な比較のために、新しいシーンレベルの BEV マップ評価設定と対応するベースラインも提供します。

要約(オリジナル)

Vision-centric Bird’s-Eye View (BEV) representation is essential for autonomous driving systems (ADS). Multi-frame temporal fusion which leverages historical information has been demonstrated to provide more comprehensive perception results. While most research focuses on ego-centric maps of fixed settings, long-range local map generation remains less explored. This work outlines a new paradigm, named NeMO, for generating local maps through the utilization of a readable and writable big map, a learning-based fusion module, and an interaction mechanism between the two. With an assumption that the feature distribution of all BEV grids follows an identical pattern, we adopt a shared-weight neural network for all grids to update the big map. This paradigm supports the fusion of longer time series and the generation of long-range BEV local maps. Furthermore, we release BDD-Map, a BDD100K-based dataset incorporating map element annotations, including lane lines, boundaries, and pedestrian crossing. Experiments on the NuScenes and BDD-Map datasets demonstrate that NeMO outperforms state-of-the-art map segmentation methods. We also provide a new scene-level BEV map evaluation setting along with the corresponding baseline for a more comprehensive comparison.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google