Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It

要約

データ漏洩は、教師あり学習に基づくメソッドをトレーニングおよび評価する際の重要な問題です。
オンライン マッピングの最先端の手法は教師あり学習に基づいており、主に nuScenes と Argoverse 2 の 2 つのデータセットを使用してトレーニングされます。これらのデータセットは、トレーニング、検証、テスト セット全体で同じ地理的位置を再利用します。
具体的には、$80$% を超える nuScenes と $40$% を超える Argoverse 2 検証およびテスト サンプルは、トレーニング サンプルから $5$m 未満に位置しています。
これにより、テスト中にメソッドが記憶された暗黙的なマップ内に局在化することが可能になり、水増しされたパフォーマンス数値が報告されるようになります。
目に見えない環境での真のパフォーマンスを明らかにするために、データを地理的に分割します。
実験結果では、提案された分割を使用して既存のオンライン マッピング モデルを再トレーニングおよび再評価すると、一部のメソッドで $45$ mAP 以上のパフォーマンス数値が大幅に低下することが示されました。
さらに、以前の設計の選択を再評価すると、元の分割に基づく結論とは異なる結論が明らかになります。
特に、リフティング方法と補助タスク (深さの監視など) によるサポートがパフォーマンスに及ぼす影響は、あまり大きくないか、以前に認識されていたものとは異なる軌道をたどるようです。
地理的分割は https://github.com/LiljaAdam/geographical-splits で見つけることができます。

要約(オリジナル)

Data leakage is a critical issue when training and evaluating any method based on supervised learning. The state-of-the-art methods for online mapping are based on supervised learning and are trained predominantly using two datasets: nuScenes and Argoverse 2. These datasets revisit the same geographic locations across training, validation, and test sets. Specifically, over $80$% of nuScenes and $40$% of Argoverse 2 validation and test samples are located less than $5$ m from a training sample. This allows methods to localize within a memorized implicit map during testing and leads to inflated performance numbers being reported. To reveal the true performance in unseen environments, we introduce geographical splits of the data. Experimental results show significantly lower performance numbers, for some methods dropping with more than $45$ mAP, when retraining and reevaluating existing online mapping models with the proposed split. Additionally, a reassessment of prior design choices reveals diverging conclusions from those based on the original split. Notably, the impact of the lifting method and the support from auxiliary tasks (e.g., depth supervision) on performance appears less substantial or follows a different trajectory than previously perceived. Geographical splits can be found https://github.com/LiljaAdam/geographical-splits

arxiv情報

提供元, 利用サービス

arxiv.jp, Google