Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving

要約

基盤モデルの急速なスケーリングが特徴的な時代において、自動運転技術は、データ駆動型の方法でスケールアップできる可能性があるため、エンドツーエンドの自動運転 (E2E-AD) が出現する変革の閾値に近づいています。
しかし、既存の E2E-AD 手法は主に、L2 エラーと衝突率をメトリクスとして (nuScenes などで) 開ループ ログリプレイ方式で評価されており、コミュニティで最近認められたアルゴリズムの運転パフォーマンスを完全に反映することができませんでした。
。
閉ループ プロトコルで評価される E2E-AD メソッドの場合、運転スコアをメトリクスとして固定ルート (CARLA の Town05Long および Longest6 など) でテストされます。これは、平滑化されていないメトリクス関数と大きな値による分散が大きいことが知られています。
長いルートのランダム性。
さらに、これらのメソッドは通常、トレーニング用に独自のデータを収集するため、アルゴリズム レベルでの公平な比較が不可能になります。
完全自動運転 (FSD) のための包括的で現実的かつ公平なテスト環境という最も重要なニーズを満たすために、E2E-AD システムの複数の機能を閉ループ方式で評価するための最初のベンチマークである Bench2Drive を紹介します。
Bench2Drive の公式トレーニング データは、44 のインタラクティブ シナリオ (割り込み、追い越し、迂回路など)、23 の天候 (晴れ、霧、雨など)、および 12 の町の下で均一に分散された 10,000 の短いクリップから収集された、完全に注釈が付けられた 200 万のフレームで構成されています。
CARLA v2 の (都市、村、大学など)。
その評価プロトコルでは、E2E-AD モデルがさまざまな場所や天候の下で 44 のインタラクティブなシナリオに合格する必要があり、合計すると最大 220 のルートとなり、さまざまな状況下での運転能力について包括的で複雑な評価を提供します。
当社は最先端の E2E-AD モデルを実装し、Bench2Drive で評価し、現在の状況と将来の方向性に関する洞察を提供します。

要約(オリジナル)

In an era marked by the rapid scaling of foundation models, autonomous driving technologies are approaching a transformative threshold where end-to-end autonomous driving (E2E-AD) emerges due to its potential of scaling up in the data-driven manner. However, existing E2E-AD methods are mostly evaluated under the open-loop log-replay manner with L2 errors and collision rate as metrics (e.g., in nuScenes), which could not fully reflect the driving performance of algorithms as recently acknowledged in the community. For those E2E-AD methods evaluated under the closed-loop protocol, they are tested in fixed routes (e.g., Town05Long and Longest6 in CARLA) with the driving score as metrics, which is known for high variance due to the unsmoothed metric function and large randomness in the long route. Besides, these methods usually collect their own data for training, which makes algorithm-level fair comparison infeasible. To fulfill the paramount need of comprehensive, realistic, and fair testing environments for Full Self-Driving (FSD), we present Bench2Drive, the first benchmark for evaluating E2E-AD systems’ multiple abilities in a closed-loop manner. Bench2Drive’s official training data consists of 2 million fully annotated frames, collected from 10000 short clips uniformly distributed under 44 interactive scenarios (cut-in, overtaking, detour, etc), 23 weathers (sunny, foggy, rainy, etc), and 12 towns (urban, village, university, etc) in CARLA v2. Its evaluation protocol requires E2E-AD models to pass 44 interactive scenarios under different locations and weathers which sums up to 220 routes and thus provides a comprehensive and disentangled assessment about their driving capability under different situations. We implement state-of-the-art E2E-AD models and evaluate them in Bench2Drive, providing insights regarding current status and future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google