NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

要約

ビジョンに基づいた運転政策のベンチマークは困難です。
一方で、実際のデータを使用した開ループ評価は簡単ですが、これらの結果は閉ループのパフォーマンスを反映しません。
一方、閉ループ評価はシミュレーションで可能ですが、大量の計算要求があるため拡張するのが困難です。
さらに、現在利用可能なシミュレータは、実際のデータに対して大きな領域ギャップを示しています。
このため、エンドツーエンドの自動運転に関する急速に成長している一連の研究から明確な結論を引き出すことができなくなっています。
この論文では、これらの評価パラダイムの中間点である NAVSIM を紹介します。NAVSIM では、大規模なデータセットを非リアクティブ シミュレーターと組み合わせて使用​​し、大規模な実世界のベンチマークを可能にします。
具体的には、短いシミュレーション期間におけるテスト シーンの鳥瞰図の抽象化を展開することにより、進行状況や衝突までの時間などのシミュレーション ベースのメトリクスを収集します。
私たちのシミュレーションは非反応的です。つまり、評価されたポリシーと環境は相互に影響しません。
経験的に示しているように、このデカップリングにより、従来の変位誤差よりも閉ループ評価とよりよく連携しながら、開ループ計量計算が可能になります。
NAVSIM により、CVPR 2024 で開催される新しいコンテストが可能になり、143 チームが 463 のエントリーを提出し、いくつかの新しい洞察が得られました。
大規模な一連の困難なシナリオでは、TransFuser などの中程度のコンピューティング要件を持つ単純な方法が、UniAD などの最近の大規模なエンドツーエンド駆動アーキテクチャに適合できることがわかりました。
当社のモジュール式フレームワークは、新しいデータセット、データキュレーション戦略、メトリクスを使用して拡張できる可能性があり、将来の課題に備えて継続的に維持されます。
私たちのコードは https://github.com/autonomousvision/navsim で入手できます。

要約(オリジナル)

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird’s eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google