Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis

要約

機械学習駆動の画像ベースのコントローラーにより、ロボット システムは環境からの視覚的なフィードバックに基づいてインテリジェントなアクションを実行できます。
これらのコントローラーがいつシステムの安全性違反につながる可能性があるかを理解することは、安全性が重要なアプリケーションにコントローラーを統合し、システムの修正安全対策を設計するために重要です。
既存の方法は、シミュレーションベースのテスト（または改ざん）を活用して、ビジョンベースのコントローラーの故障、つまり閉ループの安全性違反につながる視覚入力を検出します。
ただし、これらの手法は、RGB イメージなどの高次元で複雑な視覚入力を含むシナリオにはうまく対応できません。
この研究では、閉ループ視覚障害を見つける問題をハミルトン・ヤコビ (HJ) 到達可能性問題として取り上げます。
私たちのアプローチは、シミュレーションベースの解析と HJ 到達可能性手法を組み合わせて、システムの後方到達可能チューブ (BRT) の近似値、つまり、ビジョンベースのコントローラーの下でのシステムの一連の危険な状態を計算します。
BRT を利用すると、閉ループ障害につながるシステム状態とそれに対応する視覚入力を扱いやすく体系的に見つけることができます。
これらの視覚入力を後で分析して、障害の原因となった可能性のある入力特性を見つけることができます。
高次元の視覚入力に対するスケーラビリティに加えて、BRT の明示的な計算により、提案されたアプローチは、ランダム シミュレーションでは明らかにするのが難しい重要なシステム障害を捕捉することができます。
私たちは、(a) 自律屋内ナビゲーション、および (b) 自律航空機地上走行のための RGB 画像ベースのニューラル ネットワーク コントローラーを含む 2 つのケース スタディでフレームワークを実証します。

要約(オリジナル)

Machine learning driven image-based controllers allow robotic systems to take intelligent actions based on the visual feedback from their environment. Understanding when these controllers might lead to system safety violations is important for their integration in safety-critical applications and engineering corrective safety measures for the system. Existing methods leverage simulation-based testing (or falsification) to find the failures of vision-based controllers, i.e., the visual inputs that lead to closed-loop safety violations. However, these techniques do not scale well to the scenarios involving high-dimensional and complex visual inputs, such as RGB images. In this work, we cast the problem of finding closed-loop vision failures as a Hamilton-Jacobi (HJ) reachability problem. Our approach blends simulation-based analysis with HJ reachability methods to compute an approximation of the backward reachable tube (BRT) of the system, i.e., the set of unsafe states for the system under vision-based controllers. Utilizing the BRT, we can tractably and systematically find the system states and corresponding visual inputs that lead to closed-loop failures. These visual inputs can be subsequently analyzed to find the input characteristics that might have caused the failure. Besides its scalability to high-dimensional visual inputs, an explicit computation of BRT allows the proposed approach to capture non-trivial system failures that are difficult to expose via random simulations. We demonstrate our framework on two case studies involving an RGB image-based neural network controller for (a) autonomous indoor navigation, and (b) autonomous aircraft taxiing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google