Hidden Biases of End-to-End Driving Datasets

要約

エンドツーエンドの駆動システムは急速に進歩していますが、これまでのところ、挑戦的な新しい CARLA Leaderboard 2.0 には適用されていません。
さらに、エンドツーエンドのアーキテクチャとトレーニング戦略に関する文献は大量にありますが、トレーニング データセットの影響は見落とされがちです。
この作業では、Leaderboard 2.0 のエンドツーエンドの駆動に初めて試みます。
アーキテクチャを調査する代わりに、トレーニング データセットを体系的に分析し、新しい洞察を導き出します。 (1) エキスパート スタイルは、下流のポリシーのパフォーマンスに大きな影響を与えます。
(2) 複雑なデータセットでは、クラス頻度などの単純な基準に基づいてフレームに重みを付けるべきではありません。
(3) その代わりに、フレームが以前のフレームと比較してターゲット ラベルを変更するかどうかを推定することで、重要な情報を削除することなくデータセットのサイズを削減できます。
これらの調査結果を組み込むことで、当社のモデルは 2024 CARLA Challenge のマップとセンサー トラックでそれぞれ 1 位と 2 位にランクされ、Bench2Drive テスト ルートで新しい最先端を確立しました。
最後に、現在の評価基準の設計上の欠陥を明らかにし、将来の課題に備えた修正を提案します。
データセット、コード、および事前トレーニングされたモデルは、https://github.com/autonomousvision/carla_garage で公開されています。

要約(オリジナル)

End-to-end driving systems have made rapid progress, but have so far not been applied to the challenging new CARLA Leaderboard 2.0. Further, while there is a large body of literature on end-to-end architectures and training strategies, the impact of the training dataset is often overlooked. In this work, we make a first attempt at end-to-end driving for Leaderboard 2.0. Instead of investigating architectures, we systematically analyze the training dataset, leading to new insights: (1) Expert style significantly affects downstream policy performance. (2) In complex data sets, the frames should not be weighted on the basis of simplistic criteria such as class frequencies. (3) Instead, estimating whether a frame changes the target labels compared to previous frames can reduce the size of the dataset without removing important information. By incorporating these findings, our model ranks first and second respectively on the map and sensors tracks of the 2024 CARLA Challenge, and sets a new state-of-the-art on the Bench2Drive test routes. Finally, we uncover a design flaw in the current evaluation metrics and propose a modification for future challenges. Our dataset, code, and pre-trained models are publicly available at https://github.com/autonomousvision/carla_garage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google