Evaluation of automated driving system safety metrics with logged vehicle trajectory data

要約

自動運転システム（ADS）にとって、運転状況のリスクを評価し、意思決定を支援するリアルタイムの安全指標は重要である。多くのリアルタイム安全指標が文献で提案されているが、これらの安全指標の体系的な性能評価は不足している。また、安全性評価手法によって採用されている行動仮定が異なるため、安全性評価手法の比較や性能評価が困難である。この課題を解決するため、本研究では、車両軌跡のログデータを活用することで、対象車両（SV）と背景車両（BV）の車両軌跡を取得し、挙動仮定に起因する予測誤差を排除できる評価フレームワークを提案する。具体的には、BVの近未来の全車両軌跡から、SVが各瞬間に衝突回避可能な状況にあるかどうかを調べる。このようにすることで、異なる安全性指標を公平に比較することができます。優れた安全性指標は、常に衝突回避不可能な瞬間を事前に警告するはずだからです。多数のトリップからの軌跡データが利用可能であれば、異なるメトリクスの統計的性能を系統的に評価し、比較することができる。本ケーススタディでは、衝突までの時間(TTC)、PEGASUS Criticality Metric (PCM)、Model Predictive Instantaneous Safety Metric (MPrISM)の3つの代表的なリアルタイム安全指標を、大規模なシミュレーション軌跡データセットを用いて評価する。提案した評価フレームワークは、研究者、実務者、規制当局にとって、さまざまな評価指標を特徴付け、用途に応じて適切な評価指標を選択するために重要である。さらに、安全指標が失敗した瞬間の故障解析を行うことで、その潜在的な弱点を特定することができ、潜在的な改良と改善のために貴重である。

要約(オリジナル)

Real-time safety metrics are important for the automated driving system (ADS) to assess the risk of driving situations and to assist the decision-making. Although a number of real-time safety metrics have been proposed in the literature, systematic performance evaluation of these safety metrics has been lacking. As different behavioral assumptions are adopted in different safety metrics, it is difficult to compare the safety metrics and evaluate their performance. To overcome this challenge, in this study, we propose an evaluation framework utilizing logged vehicle trajectory data, in that vehicle trajectories for both subject vehicle (SV) and background vehicles (BVs) are obtained and the prediction errors caused by behavioral assumptions can be eliminated. Specifically, we examine whether the SV is in a collision unavoidable situation at each moment, given all near-future trajectories of BVs. In this way, we level the ground for a fair comparison of different safety metrics, as a good safety metric should always alarm in advance to the collision unavoidable moment. When trajectory data from a large number of trips are available, we can systematically evaluate and compare different metrics’ statistical performance. In the case study, three representative real-time safety metrics, including the time-to-collision (TTC), the PEGASUS Criticality Metric (PCM), and the Model Predictive Instantaneous Safety Metric (MPrISM), are evaluated using a large-scale simulated trajectory dataset. The proposed evaluation framework is important for researchers, practitioners, and regulators to characterize different metrics, and to select appropriate metrics for different applications. Moreover, by conducting failure analysis on moments when a safety metric failed, we can identify its potential weaknesses which are valuable for its potential refinements and improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL