Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It

要約

オンライン マッピングのタスクは、現在のセンサー観測値を使用してローカル マップを予測することです。
事前に構築されたマップに依存せずに、LIDAR とカメラから。
最先端の手法は教師あり学習に基づいており、主に nuScenes と Argoverse 2 の 2 つのデータセットを使用してトレーニングされます。ただし、これらのデータセットは、トレーニング、検証、テスト セット全体で同じ地理的位置を再利用します。
具体的には、nuScenes の $80$% 以上と Argoverse 2 の検証サンプルとテスト サンプルの $40$% 以上は、トレーニング サンプルからの費用が $5$m 未満です。
したがって、テスト時には、メソッドは、目に見えない場所への外挿よりも、トレーニング データから構築された記憶された暗黙的なマップ内でどの程度うまく位置特定するかによって評価されます。
当然のことながら、このデータ漏洩はパフォーマンス数値の膨張を引き起こすため、目に見えない環境での真のパフォーマンスを明らかにするために、地理的に分散したデータ分割を提案します。
実験結果によると、適切なデータ分割でトレーニングおよび評価すると、メソッドのパフォーマンスが大幅に低下し、一部のメソッドでは $45$ mAP を超える損失が発生します。
さらに、以前の設計の選択を再評価すると、元の分割に基づく結論とは異なる結論が明らかになります。
特に、リフティング方法や補助タスク（深さの監視など）からのサポートがパフォーマンスに及ぼす影響は、それほど大きくないか、以前に認識されていたものとは異なる軌道をたどるようです。
分割は https://github.com/LiljaAdam/geographical-splits で見つけることができます。

要約(オリジナル)

The task of online mapping is to predict a local map using current sensor observations, e.g. from lidar and camera, without relying on a pre-built map. State-of-the-art methods are based on supervised learning and are trained predominantly using two datasets: nuScenes and Argoverse 2. However, these datasets revisit the same geographic locations across training, validation, and test sets. Specifically, over $80$% of nuScenes and $40$% of Argoverse 2 validation and test samples are less than $5$ m from a training sample. At test time, the methods are thus evaluated more on how well they localize within a memorized implicit map built from the training data than on extrapolating to unseen locations. Naturally, this data leakage causes inflated performance numbers and we propose geographically disjoint data splits to reveal the true performance in unseen environments. Experimental results show that methods perform considerably worse, some dropping more than $45$ mAP, when trained and evaluated on proper data splits. Additionally, a reassessment of prior design choices reveals diverging conclusions from those based on the original split. Notably, the impact of lifting methods and the support from auxiliary tasks (e.g., depth supervision) on performance appears less substantial or follows a different trajectory than previously perceived. Splits can be found at https://github.com/LiljaAdam/geographical-splits

arxiv情報

提供元, 利用サービス

arxiv.jp, Google