Behavioral Safety Assessment towards Large-scale Deployment of Autonomous Vehicles

要約

自動運転車（AV）は近年、現実世界の展開において大幅に進歩していますが、安全性は引き続き広範な採用の重要な障壁です。
主に車両中心の観点からAVハードウェアおよびソフトウェアシステムの信頼性、堅牢性、および妥当性を検証する従来の機能的安全性アプローチは、周囲の交通環境に対するAVのより広い相互作用と行動的影響に十分に対処しません。
この制限を克服するために、交通環境内のAV応答と相互作用の評価に焦点を当てた包括的なアプローチである行動安全へのパラダイムシフトを提案します。
行動の安全性を体系的に評価するために、ドライバーライセンステストと運転インテリジェンステストの2つの補完的評価コンポーネントで構成されるサードパーティAV安全評価フレームワークを紹介します。
ドライバーライセンステストは、制御されたシナリオでAVのリアクティブな動作を評価し、基本的な行動能力を確保します。
対照的に、運転インテリジェンステストでは、自然主義的な交通条件内でのAVのインタラクティブな動作を評価し、安全性クリティカルなイベントの頻度を定量化して、大規模な展開前に統計的に意味のある安全メトリックを提供します。
オープンソースレベル4 AVである\ texttt {autoware.universe}を使用して、提案されたフレームワークを検証しました。
結果は、\ texttt {autoware.universe}が14のシナリオのうち6つを通過し、平均人間のドライバークラッシュ率よりも約1,000倍高い3.01E-3クラッシュのクラッシュ率を示したことを示しています。
テスト中に、\ texttt {autoware.universe}のいくつかの未知の安全でないシナリオも発見しました。
これらの調査結果は、広範囲にわたる公共展開の前にAVの安全性能を向上させるための行動安全評価の必要性を強調しています。

要約(オリジナル)

Autonomous vehicles (AVs) have significantly advanced in real-world deployment in recent years, yet safety continues to be a critical barrier to widespread adoption. Traditional functional safety approaches, which primarily verify the reliability, robustness, and adequacy of AV hardware and software systems from a vehicle-centric perspective, do not sufficiently address the AV’s broader interactions and behavioral impact on the surrounding traffic environment. To overcome this limitation, we propose a paradigm shift toward behavioral safety, a comprehensive approach focused on evaluating AV responses and interactions within traffic environment. To systematically assess behavioral safety, we introduce a third-party AV safety assessment framework comprising two complementary evaluation components: Driver Licensing Test and Driving Intelligence Test. The Driver Licensing Test evaluates AV’s reactive behaviors under controlled scenarios, ensuring basic behavioral competency. In contrast, the Driving Intelligence Test assesses AV’s interactive behaviors within naturalistic traffic conditions, quantifying the frequency of safety-critical events to deliver statistically meaningful safety metrics before large-scale deployment. We validated our proposed framework using \texttt{Autoware.Universe}, an open-source Level 4 AV, tested both in simulated environments and on the physical test track at the University of Michigan’s Mcity Testing Facility. The results indicate that \texttt{Autoware.Universe} passed 6 out of 14 scenarios and exhibited a crash rate of 3.01e-3 crashes per mile, approximately 1,000 times higher than average human driver crash rate. During the tests, we also uncovered several unknown unsafe scenarios for \texttt{Autoware.Universe}. These findings underscore the necessity of behavioral safety evaluations for improving AV safety performance prior to widespread public deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google