Detecting and Mitigating System-Level Anomalies of Vision-Based Controllers

要約

自動運転車やドローンなどの自律システムは、意思決定と制御に視覚入力と機械学習を活用することで近年大きく進歩しました。
これらのビジョンベースのコントローラーは、優れたパフォーマンスにもかかわらず、新規の入力や分布外の入力に直面すると、誤った予測を行う可能性があります。
このようなエラーは連鎖的に致命的なシステム障害を引き起こし、システムの安全性を損なう可能性があります。
この作業では、このような閉ループのシステムレベルの障害を検出して軽減するためのランタイム異常モニターを導入します。
具体的には、到達可能性ベースのフレームワークを活用して、ビジョンベースのコントローラーをオフラインでストレス テストし、システム レベルの障害を調査します。
このデータは、システムの故障を引き起こす可能性のある入力にフラグを立てるためにオンラインで活用される分類器をトレーニングするために使用されます。
異常検出器は、個々のモジュールを超えてシステム全体の安全性に関係する問題を浮き彫りにします。
また、システムの安全性を維持するために、これらの検出された異常を堅牢に処理するフォールバック コントローラーも設計します。
地上走行にビジョンベースのコントローラーを使用する自律航空機地上走行システムで、提案されたアプローチを検証します。
私たちの結果は、システムレベルの異常の特定と処理において、提案されたアプローチの有効性が、予測誤差ベースの検出やアンサンブルなどの方法を上回り、それによって自律システム全体の安全性と堅牢性が向上することを示しています。

要約(オリジナル)

Autonomous systems, such as self-driving cars and drones, have made significant strides in recent years by leveraging visual inputs and machine learning for decision-making and control. Despite their impressive performance, these vision-based controllers can make erroneous predictions when faced with novel or out-of-distribution inputs. Such errors can cascade to catastrophic system failures and compromise system safety. In this work, we introduce a run-time anomaly monitor to detect and mitigate such closed-loop, system-level failures. Specifically, we leverage a reachability-based framework to stress-test the vision-based controller offline and mine its system-level failures. This data is then used to train a classifier that is leveraged online to flag inputs that might cause system breakdowns. The anomaly detector highlights issues that transcend individual modules and pertain to the safety of the overall system. We also design a fallback controller that robustly handles these detected anomalies to preserve system safety. We validate the proposed approach on an autonomous aircraft taxiing system that uses a vision-based controller for taxiing. Our results show the efficacy of the proposed approach in identifying and handling system-level anomalies, outperforming methods such as prediction error-based detection, and ensembling, thereby enhancing the overall safety and robustness of autonomous systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google