On the Need for a Statistical Foundation in Scenario-Based Testing of Autonomous Vehicles

要約

シナリオベースのテストは、自動運転車（AVS）の安全性の一般的な方法として浮上しており、ハイリスクシナリオに焦点を当てることにより、マイルベースのテストに代わるより効率的な代替品を提供しています。
ただし、停止ルール、残留リスクの推定、デバッグの有効性、およびシミュレーションの忠実度が安全請求に及ぼす影響に関して、基本的な疑問が生じています。
この論文は、これらの課題に対処し、厳密な安全保証を可能にするためには、厳格な統計的基盤が不可欠であると主張しています。
AVテストと従来のソフトウェアテストの方法論の類似点を描画することにより、共有された研究ギャップと再利用可能なソリューションを特定します。
概念実証モデルを提案して、シナリオごとの障害の確率を定量化し（PFS）、さまざまな条件下でテストの有効性を評価します。
私たちの分析により、シナリオに基づいたテストもマイルベースのテストも、他のシナリオよりも普遍的に優れていないことが明らかになりました。
さらに、合成および実世界のテスト結果の整合を証明するための新しいメトリックであるリスク推定忠実度（REF）を導入し、シミュレーションベースの安全請求が統計的に防御可能であることを保証します。

要約(オリジナル)

Scenario-based testing has emerged as a common method for autonomous vehicles (AVs) safety, offering a more efficient alternative to mile-based testing by focusing on high-risk scenarios. However, fundamental questions persist regarding its stopping rules, residual risk estimation, debug effectiveness, and the impact of simulation fidelity on safety claims. This paper argues that a rigorous statistical foundation is essential to address these challenges and enable rigorous safety assurance. By drawing parallels between AV testing and traditional software testing methodologies, we identify shared research gaps and reusable solutions. We propose proof-of-concept models to quantify the probability of failure per scenario (pfs) and evaluate testing effectiveness under varying conditions. Our analysis reveals that neither scenario-based nor mile-based testing universally outperforms the other. Furthermore, we introduce Risk Estimation Fidelity (REF), a novel metric to certify the alignment of synthetic and real-world testing outcomes, ensuring simulation-based safety claims are statistically defensible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google