Realistic Safety-critical Scenarios Search for Autonomous Driving System via Behavior Tree

要約

自律走行システム（ADS）のシミュレーションを用いたテストが注目を集めています。しかし、現在のアプローチは、専門家の知識に過度に依存することと、単純化された評価指標の利用という2つの理由から、しばしばADSを正確に評価することができません。そのため、シミュレーションシナリオと自然な運転環境との間に不一致が生じるのです。そこで我々は、現実的なセーフティクリティカルなテストシナリオを自動生成するために、行動木ベースのテストフレームワークであるMatrix-Fuzzerを提案します。この手法では、記録された道路利用者の軌跡を行動シーケンスに抽象化する$log2BT$法を用いています。さらに、現実の運転分布から行動の特性を変化させ、適応的なアルゴリズムを用いて入力空間を探索する。一方、アルゴリズムを重要な領域へ導く一般的な評価エンジンを設計し、無効なシナリオの生成を低減する。我々のアプローチは、我々のマトリックスシミュレータで実証されている。実験結果は以下の通りである：(1) 我々の$log2BT$は満足のいく軌跡の再構成を達成する。(2) 本アプローチは、ベースラインアルゴリズムと比較して、最も多くの種類のセーフティクリティカルシナリオを見つけることができるが、全シナリオの約30％しか生成しない。具体的には、2つのケーススタディにおいて、全シナリオに対する重要違反の比率を少なくとも10倍、種類の比率を少なくとも5倍改善し、全シナリオに対する無効シナリオの比率を少なくとも58%減少させる。

要約(オリジナル)

The simulation-based testing of Autonomous Driving Systems (ADSs) has gained significant attention. However, current approaches often fall short of accurately assessing ADSs for two reasons: over-reliance on expert knowledge and the utilization of simplistic evaluation metrics. That leads to discrepancies between simulated scenarios and naturalistic driving environments. To address this, we propose the Matrix-Fuzzer, a behavior tree-based testing framework, to automatically generate realistic safety-critical test scenarios. Our approach involves the $log2BT$ method, which abstracts logged road-users’ trajectories to behavior sequences. Furthermore, we vary the properties of behaviors from real-world driving distributions and then use an adaptive algorithm to explore the input space. Meanwhile, we design a general evaluation engine that guides the algorithm toward critical areas, thus reducing the generation of invalid scenarios. Our approach is demonstrated in our Matrix Simulator. The experimental results show that: (1) Our $log2BT$ achieves satisfactory trajectory reconstructions. (2) Our approach is able to find the most types of safety-critical scenarios, but only generating around 30% of the total scenarios compared with the baseline algorithm. Specifically, it improves the ratio of the critical violations to total scenarios and the ratio of the types to total scenarios by at least 10x and 5x, respectively, while reducing the ratio of the invalid scenarios to total scenarios by at least 58% in two case studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL