Identifying the Hazard Boundary of ML-enabled Autonomous Systems Using Cooperative Co-Evolutionary Search

要約

機械学習 (ML) 対応自律システム (MLAS) では、分析中の MLAS 内の ML コンポーネント (MLC) の危険境界を特定することが不可欠です。
このような境界によって、ハザードを引き起こす可能性のある MLC の動作とシステム コンテキストに関する条件が把握されるため、これを使用して、たとえば、ハザード境界に到達したときに実行時に事前定義されたフォールバック メカニズムを利用できる安全モニターを構築できます。
ただし、ML コンポーネントのそのような危険境界を決定するのは困難です。
これは、システム コンテキスト (つまり、シナリオ) と MLC の動作 (つまり、入力と出力) を組み合わせた問題空間が大きすぎて、徹底的な探索ができず、遺伝的アルゴリズムなどの従来のメタヒューリスティックを使用して処理することさえできないためです。
さらに、MLAS の安全性違反を判断するために必要なシミュレーションには高い計算コストがかかるため、問題はさらに困難になります。
さらに、シミュレーションにおける制御不可能なパラメーターや、分析中の MLAS 内の ML モデル (ディープ ニューラル ネットワークなど) の非線形動作のため、問題空間内の領域を決定的に安全か安全でないかと考えることは非現実的です。
この課題に対処するために、私たちは、協調的共進化アルゴリズム (CCEA) に基づく新しい方法である MLCSHE (ML Component Safety Hazard Envelope) を提案します。これは、高次元の問題を 2 つの低次元の探索部分問題に分解することによって取り組むことを目的としています。
さらに、安全な領域と安全でない領域を確率論的に捉え、確率論的な危険境界からの距離を測定する新しい適合関数を定義して、探索を効果的に推進します。
複雑な自動運転車 (AV) のケーススタディで MLCSHE の有効性と効率を評価します。
私たちの評価結果は、MLCSHE が標準の遺伝的アルゴリズムやランダム検索と比較して大幅に効果的かつ効率的であることを示しています。

要約(オリジナル)

In Machine Learning (ML)-enabled autonomous systems (MLASs), it is essential to identify the hazard boundary of ML Components (MLCs) in the MLAS under analysis. Given that such boundary captures the conditions in terms of MLC behavior and system context that can lead to hazards, it can then be used to, for example, build a safety monitor that can take any predefined fallback mechanisms at runtime when reaching the hazard boundary. However, determining such hazard boundary for an ML component is challenging. This is due to the problem space combining system contexts (i.e., scenarios) and MLC behaviors (i.e., inputs and outputs) being far too large for exhaustive exploration and even to handle using conventional metaheuristics, such as genetic algorithms. Additionally, the high computational cost of simulations required to determine any MLAS safety violations makes the problem even more challenging. Furthermore, it is unrealistic to consider a region in the problem space deterministically safe or unsafe due to the uncontrollable parameters in simulations and the non-linear behaviors of ML models (e.g., deep neural networks) in the MLAS under analysis. To address the challenges, we propose MLCSHE (ML Component Safety Hazard Envelope), a novel method based on a Cooperative Co-Evolutionary Algorithm (CCEA), which aims to tackle a high-dimensional problem by decomposing it into two lower-dimensional search subproblems. Moreover, we take a probabilistic view of safe and unsafe regions and define a novel fitness function to measure the distance from the probabilistic hazard boundary and thus drive the search effectively. We evaluate the effectiveness and efficiency of MLCSHE on a complex Autonomous Vehicle (AV) case study. Our evaluation results show that MLCSHE is significantly more effective and efficient compared to a standard genetic algorithm and random search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google