Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood Coverage and Similarity

要約

自動運転車 (AV) の安全性能をテストして評価することは、大規模な導入の前に不可欠です。
実際には、特定の AV に許容されるテスト シナリオの数は、テストの予算と時間の厳しい制約により厳しく制限されます。
厳密に制限されたテスト数による制限により、既存のテスト方法では評価結果の定量化に重大な不確実性や困難が生じることがよくあります。
この論文では、この問題を「フューショット テスト」(FST) 問題として初めて定式化し、この課題に対処する体系的なフレームワークを提案します。
小規模なテスト シナリオ セットに固有のかなりの不確実性を軽減するために、FST 問題を最適化問題として構成し、近傍のカバレッジと類似性に基づいてテスト シナリオ セットを検索します。
具体的には、AV 上のテスト シナリオ セットの一般化能力の向上の指導の下、サロゲート モデル (SM) の事前情報を活用して、このセットと各テスト シナリオの評価結果への寄与をカバレッジに基づいて動的に調整します。
SM に関する特定の仮説を使用して、与えられた限られたテスト数内で評価精度が十分であることを検証するために、評価誤差の理論的な上限が確立されます。
カットイン シナリオの実験結果は、特にシナリオ数に厳密な制限がある状況において、従来のテスト方法と比較して、この方法の評価誤差と分散が顕著に減少していることを示しています。

要約(オリジナル)

Testing and evaluating the safety performance of autonomous vehicles (AVs) is essential before the large-scale deployment. Practically, the number of testing scenarios permissible for a specific AV is severely limited by tight constraints on testing budgets and time. With the restrictions imposed by strictly restricted numbers of tests, existing testing methods often lead to significant uncertainty or difficulty to quantifying evaluation results. In this paper, we formulate this problem for the first time the ‘few-shot testing’ (FST) problem and propose a systematic framework to address this challenge. To alleviate the considerable uncertainty inherent in a small testing scenario set, we frame the FST problem as an optimization problem and search for the testing scenario set based on neighborhood coverage and similarity. Specifically, under the guidance of better generalization ability of the testing scenario set on AVs, we dynamically adjust this set and the contribution of each testing scenario to the evaluation result based on coverage, leveraging the prior information of surrogate models (SMs). With certain hypotheses on SMs, a theoretical upper bound of evaluation error is established to verify the sufficiency of evaluation accuracy within the given limited number of tests. The experiment results on cut-in scenarios demonstrate a notable reduction in evaluation error and variance of our method compared to conventional testing methods, especially for situations with a strict limit on the number of scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google