Evaluating Decision Optimality of Autonomous Driving via Metamorphic Testing

要約

自動運転システム (ADS) のテストは ADS 開発において極めて重要であり、現在の主な焦点は安全性です。
ただし、セーフティクリティカルではないパフォーマンス、特に自動運転車 (AV) に最適な決定を下し、最適な経路を生成する ADS の能力の評価も、インテリジェンスを確保し、AV のリスクを軽減するために同様に重要です。
現在、対応するオラクルが不足していることと、最適ではない決定を含むシナリオを生成することが難しいため、ADS の最適な意思決定パフォーマンスの評価に特化した研究はほとんどありません。
この論文では、ADS の意思決定品質の評価に焦点を当て、ADS が AV の最適なパスを計算しない非最適意思決定シナリオ (NoDS) を検出するための最初の方法を提案します。
まず、オラクル問題に対処するために、最適な決定の違反を明らかにすることを目的とした新しい変態関係 (MR) を提案します。
MR は、最適なパスが非侵襲的な変更の影響を受けない場合に、ADS が最適な決定を保持する必要があるという特性を特定します。
その後、NoDS を効率的に生成するように設計された新しいフレームワーク Decictor を開発しました。
Decictor は、非侵襲的突然変異、MR チェック、フィードバックの 3 つの主要コンポーネントで構成されます。
非侵襲的突然変異は、突然変異したシナリオにおける元の最適なパスが影響を受けないことを保証しますが、MR チェックは非最適な決定が行われたかどうかを判断します。
NoDS を識別する効率を高めるために、AV の動きの空間的側面と時間的側面の両方を組み合わせたフィードバック メトリックを設計します。
私たちは、オープンソースの実稼働グレードの ADS である Baidu Apollo で Decictor を評価します。
実験結果は、ADS の最適でない決定を検出する Decictor の有効性を検証します。
私たちの研究は、安全性が重要ではない ADS のパフォーマンスを評価する上で、貴重で独創的な洞察を提供します。

要約(オリジナル)

Autonomous Driving System (ADS) testing is crucial in ADS development, with the current primary focus being on safety. However, the evaluation of non-safety-critical performance, particularly the ADS’s ability to make optimal decisions and produce optimal paths for autonomous vehicles (AVs), is equally vital to ensure the intelligence and reduce risks of AVs. Currently, there is little work dedicated to assessing ADSs’ optimal decision-making performance due to the lack of corresponding oracles and the difficulty in generating scenarios with non-optimal decisions. In this paper, we focus on evaluating the decision-making quality of an ADS and propose the first method for detecting non-optimal decision scenarios (NoDSs), where the ADS does not compute optimal paths for AVs. Firstly, to deal with the oracle problem, we propose a novel metamorphic relation (MR) aimed at exposing violations of optimal decisions. The MR identifies the property that the ADS should retain optimal decisions when the optimal path remains unaffected by non-invasive changes. Subsequently, we develop a new framework, Decictor, designed to generate NoDSs efficiently. Decictor comprises three main components: Non-invasive Mutation, MR Check, and Feedback. The Non-invasive Mutation ensures that the original optimal path in the mutated scenarios is not affected, while the MR Check is responsible for determining whether non-optimal decisions are made. To enhance the effectiveness of identifying NoDSs, we design a feedback metric that combines both spatial and temporal aspects of the AV’s movement. We evaluate Decictor on Baidu Apollo, an open-source and production-grade ADS. The experimental results validate the effectiveness of Decictor in detecting non-optimal decisions of ADSs. Our work provides valuable and original insights into evaluating the non-safety-critical performance of ADSs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google