Decictor: Towards Evaluating the Robustness of Decision-Making in Autonomous Driving Systems

要約

自動運転システム (ADS) のテストは ADS 開発において極めて重要であり、現在の主な焦点は安全性です。
ただし、セーフティ クリティカルではないパフォーマンス、特に自動運転車 (AV) に最適な決定を下し、最適な経路を生成する ADS の能力の評価も、インテリジェンスを確保し、AV のリスクを軽減するために重要です。
現在、ADS の経路計画決定 (PPD) の堅牢性、つまり、環境のわずかな変化の後に ADS が最適な PPD を維持できるかどうかを評価することに特化した研究はほとんどありません。
主な課題には、PPD の最適性を評価するための明確なオラクルの欠如と、非最適な PPD につながるシナリオの検索の難しさが含まれます。
このギャップを埋めるために、この論文では、ADS の PPD の堅牢性の評価に焦点を当て、ADS が AV の最適なパスを計画しない非最適決定シナリオ (NoDS) を生成するための最初の方法である Decictor を提案します。
Decictor は、非侵襲的突然変異、一貫性チェック、フィードバックという 3 つの主要コンポーネントで構成されます。
オラクルの課題を克服するために、非侵襲的突然変異は保守的な変更を実装し、突然変異したシナリオで元の最適なパスを確実に保持するように考案されました。
その後、一貫性チェックが適用され、元のシナリオと変更されたシナリオの運転経路を比較することによって、最適でない PPD の存在が判断されます。
大規模な環境スペースの課題に対処するために、AV の動きの空間的および時間的次元を統合するフィードバック メトリックを設計します。
これらの指標は、NoDS の生成を効果的に制御するために重要です。
私たちは、オープンソースの実稼働グレードの ADS である Baidu Apollo で Decictor を評価します。
実験結果は、ADS の最適でない PPD の検出における Decictor の有効性を検証します。

要約(オリジナル)

Autonomous Driving System (ADS) testing is crucial in ADS development, with the current primary focus being on safety. However, the evaluation of non-safety-critical performance, particularly the ADS’s ability to make optimal decisions and produce optimal paths for autonomous vehicles (AVs), is also vital to ensure the intelligence and reduce risks of AVs. Currently, there is little work dedicated to assessing the robustness of ADSs’ path-planning decisions (PPDs), i.e., whether an ADS can maintain the optimal PPD after an insignificant change in the environment. The key challenges include the lack of clear oracles for assessing PPD optimality and the difficulty in searching for scenarios that lead to non-optimal PPDs. To fill this gap, in this paper, we focus on evaluating the robustness of ADSs’ PPDs and propose the first method, Decictor, for generating non-optimal decision scenarios (NoDSs), where the ADS does not plan optimal paths for AVs. Decictor comprises three main components: Non-invasive Mutation, Consistency Check, and Feedback. To overcome the oracle challenge, Non-invasive Mutation is devised to implement conservative modifications, ensuring the preservation of the original optimal path in the mutated scenarios. Subsequently, the Consistency Check is applied to determine the presence of non-optimal PPDs by comparing the driving paths in the original and mutated scenarios. To deal with the challenge of large environment space, we design Feedback metrics that integrate spatial and temporal dimensions of the AV’s movement. These metrics are crucial for effectively steering the generation of NoDSs. We evaluate Decictor on Baidu Apollo, an open-source and production-grade ADS. The experimental results validate the effectiveness of Decictor in detecting non-optimal PPDs of ADSs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google