Enhancing Safety and Robustness of Vision-Based Controllers via Reachability Analysis

要約

自動運転車やドローンなどの自律システムは、意思決定と制御に視覚入力と機械学習を活用することで近年大きく進歩しました。
これらのビジョンベースのコントローラーは、優れたパフォーマンスにもかかわらず、新規の入力や分布外の入力に直面すると、誤った予測を行う可能性があります。
このようなエラーは連鎖的に致命的なシステム障害を引き起こし、システムの安全性を損なう可能性があります。
この研究では、視覚ベースのコントローラーのストレス テストを行い、その障害モードをマイニングするための後方到達可能チューブのパラメーター化された近似として機能するニューラル到達可能チューブを計算します。
特定された障害は、オフラインとオンラインの両方の方法でシステムの安全性を強化するために使用されます。
オンライン アプローチでは、閉ループのシステム レベルの障害を検出するための実行時障害モニターとして分類子をトレーニングし、その後、これらの検出された障害を堅牢に処理してシステムの安全性を維持するフォールバック コントローラーをトリガーします。
オフラインのアプローチでは、慎重に強化された故障データセットを使用した増分トレーニングによって元のコントローラーを改善し、その結果、既知の故障モードに耐性のあるより堅牢なコントローラーが得られます。
どちらのアプローチでも、システムは、ビジョンベースのコントローラーを超え、システム全体の閉ループの安全性に関係する欠点から保護されます。
提案されたアプローチを、ビジョンベースのコントローラーを使用して航空機を滑走路の中心線に向かって誘導する自律走行航空機タキシング タスクで検証します。
我々の結果は、システムレベルの障害の特定と処理における提案されたアルゴリズムの有効性が、システム障害の特定のためのコントローラーの予測誤差や不確実性の定量化に依存する方法よりも優れていることを示しています。

要約(オリジナル)

Autonomous systems, such as self-driving cars and drones, have made significant strides in recent years by leveraging visual inputs and machine learning for decision-making and control. Despite their impressive performance, these vision-based controllers can make erroneous predictions when faced with novel or out-of-distribution inputs. Such errors can cascade into catastrophic system failures and compromise system safety. In this work, we compute Neural Reachable Tubes, which act as parameterized approximations of Backward Reachable Tubes to stress-test the vision-based controllers and mine their failure modes. The identified failures are then used to enhance the system safety through both offline and online methods. The online approach involves training a classifier as a run-time failure monitor to detect closed-loop, system-level failures, subsequently triggering a fallback controller that robustly handles these detected failures to preserve system safety. For the offline approach, we improve the original controller via incremental training using a carefully augmented failure dataset, resulting in a more robust controller that is resistant to the known failure modes. In either approach, the system is safeguarded against shortcomings that transcend the vision-based controller and pertain to the closed-loop safety of the overall system. We validate the proposed approaches on an autonomous aircraft taxiing task that involves using a vision-based controller to guide the aircraft towards the centerline of the runway. Our results show the efficacy of the proposed algorithms in identifying and handling system-level failures, outperforming methods that rely on controller prediction error or uncertainty quantification for identifying system failures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google