Decictor: Towards Evaluating the Robustness of Decision-Making in Autonomous Driving Systems

要約

自律運転システム（ADS）テストは、広告開発において重要であり、現在の主な焦点は安全性にあります。
ただし、非セーフティ批判的なパフォーマンス、特に自律車両（AVS）に最適な決定を行い、最適なパスを作成するADSの能力の評価も、AVSの知性を確保し、リスクを減らすために不可欠です。
現在、ADSのパス計画決定（PPD）の堅牢性を評価することに専念する作業はほとんどありません。つまり、広告が環境の取るに足らない変化の後に最適なPPDを維持できるかどうかです。
重要な課題には、PPDの最適性を評価するための明確なオラクルの欠如と、最適ではないPPDにつながるシナリオを検索することの難しさが含まれます。
このギャップを埋めるために、このペーパーでは、ADSのPPDの堅牢性の評価に焦点を当て、AVSの最適なパスを計画していない非最適な決定シナリオ（NODSS）を生成するために、最初の方法であるDecictorを提案します。
決定子は、非侵襲的突然変異、一貫性チェック、およびフィードバックの3つの主要なコンポーネントで構成されています。
Oracle Challengeを克服するために、非侵襲的変異は保守的な修正を実施するために考案され、変異したシナリオでの元の最適な経路の保存を確保します。
その後、一貫性チェックが適用され、元のシナリオと変異シナリオの駆動パスを比較することにより、非最適PPDの存在を決定します。
大きな環境スペースの課題に対処するために、AVの動きの空間的および時間的次元を統合するフィードバックメトリックを設計します。
これらのメトリックは、NODSの生成を効果的に操縦するために重要です。
オープンソースとプロダクショングレードの広告であるBaidu ApolloのDecictorを評価します。
実験結果は、ADSSの非最適なPPDの検出における決定子の有効性を検証します。

要約(オリジナル)

Autonomous Driving System (ADS) testing is crucial in ADS development, with the current primary focus being on safety. However, the evaluation of non-safety-critical performance, particularly the ADS’s ability to make optimal decisions and produce optimal paths for autonomous vehicles (AVs), is also vital to ensure the intelligence and reduce risks of AVs. Currently, there is little work dedicated to assessing the robustness of ADSs’ path-planning decisions (PPDs), i.e., whether an ADS can maintain the optimal PPD after an insignificant change in the environment. The key challenges include the lack of clear oracles for assessing PPD optimality and the difficulty in searching for scenarios that lead to non-optimal PPDs. To fill this gap, in this paper, we focus on evaluating the robustness of ADSs’ PPDs and propose the first method, Decictor, for generating non-optimal decision scenarios (NoDSs), where the ADS does not plan optimal paths for AVs. Decictor comprises three main components: Non-invasive Mutation, Consistency Check, and Feedback. To overcome the oracle challenge, Non-invasive Mutation is devised to implement conservative modifications, ensuring the preservation of the original optimal path in the mutated scenarios. Subsequently, the Consistency Check is applied to determine the presence of non-optimal PPDs by comparing the driving paths in the original and mutated scenarios. To deal with the challenge of large environment space, we design Feedback metrics that integrate spatial and temporal dimensions of the AV’s movement. These metrics are crucial for effectively steering the generation of NoDSs. We evaluate Decictor on Baidu Apollo, an open-source and production-grade ADS. The experimental results validate the effectiveness of Decictor in detecting non-optimal PPDs of ADSs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google