Dynamic Benchmarks: Spatial and Temporal Alignment for ADS Performance Evaluation

要約

現在、米国の路上では、SAE レベル 4+ の自動運転システム (ADS) が人間のドライバーなしで導入され、配車サービスとして運用されています。
このテクノロジーの現在のユースケースと将来のアプリケーションによって、フリートがいつどこで動作するかが決まり、その結果、特定の地域内の一部の人間のベンチマーク人口の運転分布からの乖離が生じる可能性があります。
ADS のパフォーマンスを評価するための既存のベンチマークは、ADS とベンチマークの衝突率の影響を郡レベルで地理的に照合するだけでした。
この研究は、ADS と人間が運転するフリート全体の間の運転配分における空間的および時間的変動を調整する動的人間ベンチマークを構築するための新しい方法論を提示します。
動的ベンチマークは、人間の警察が報告した衝突データ、人間の車両走行距離 (VMT) データ、および米国の 3 つの郡にわたって蓄積された Waymo の乗客専用 (RO) 運用データの 2,000 万マイル以上を使用して生成されました。
空間調整により、未調整のベンチマークと比較した調整後の衝突率には、さまざまな重大度レベルで大きな差があることが明らかになり、その差はサンフランシスコで 10% ～ 47% 高く、マリコパで 12% ～ 20% 高、7% ～ 34% 高でした。
ロサンゼルスの郡で。
サンフランシスコでの時刻調整は、データの可用性によりこの地域に限定されており、重大度レベルに応じて、調整後の事故率は未調整の事故率より 2% 低く、16% 高くなりました。
この調査結果は、ベンチマーク分析における空間的および時間的交絡因子を調整することの重要性を強調しており、これが最終的には ADS パフォーマンス評価のより公平なベンチマークに貢献します。

要約(オリジナル)

Deployed SAE level 4+ Automated Driving Systems (ADS) without a human driver are currently operational ride-hailing fleets on surface streets in the United States. This current use case and future applications of this technology will determine where and when the fleets operate, potentially resulting in a divergence from the distribution of driving of some human benchmark population within a given locality. Existing benchmarks for evaluating ADS performance have only done county-level geographical matching of the ADS and benchmark driving exposure in crash rates. This study presents a novel methodology for constructing dynamic human benchmarks that adjust for spatial and temporal variations in driving distribution between an ADS and the overall human driven fleet. Dynamic benchmarks were generated using human police-reported crash data, human vehicle miles traveled (VMT) data, and over 20 million miles of Waymo’s rider-only (RO) operational data accumulated across three US counties. The spatial adjustment revealed significant differences across various severity levels in adjusted crash rates compared to unadjusted benchmarks with these differences ranging from 10% to 47% higher in San Francisco, 12% to 20% higher in Maricopa, and 7% lower to 34% higher in Los Angeles counties. The time-of-day adjustment in San Francisco, limited to this region due to data availability, resulted in adjusted crash rates 2% lower to 16% higher than unadjusted rates, depending on severity level. The findings underscore the importance of adjusting for spatial and temporal confounders in benchmarking analysis, which ultimately contributes to a more equitable benchmark for ADS performance evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google