Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis

要約

機械学習駆動の画像ベースのコントローラーにより、ロボット システムは環境からの視覚的なフィードバックに基づいてインテリジェントなアクションを実行できます。
これらのコントローラーがいつシステムの安全性違反につながるかを理解することは、安全性が重要なアプリケーションにコントローラーを統合し、システムの修正安全対策をエンジニアリングするために重要です。
既存の方法では、シミュレーション ベースのテスト (または改ざん) を利用して、視覚ベースのコントローラーの故障、つまり閉ループの安全違反につながる視覚的な入力を見つけます。
ただし、これらの手法は、RGB 画像などの高次元で複雑な視覚入力を含むシナリオにはうまく対応できません。
この作業では、クローズド ループ ビジョン障害を見つける問題をハミルトン-ヤコビ (HJ) 到達可能性問題として扱います。
私たちのアプローチは、シミュレーションベースの分析と HJ 到達可能性メソッドを組み合わせて、システムの後方到達可能チューブ (BRT) の近似値、つまり、ビジョンベースのコントローラーの下にあるシステムの危険な状態のセットを計算します。
BRT を利用することで、クローズド ループ障害につながるシステム状態とそれに対応する視覚的入力を扱いやすく体系的に見つけることができます。
これらの視覚的入力を後で分析して、障害の原因となった可能性のある入力特性を見つけることができます。
高次元のビジュアル入力へのスケーラビリティに加えて、BRT の明示的な計算により、提案されたアプローチを使用して、ランダム シミュレーションでは明らかにすることが困難な重要なシステム障害を捉えることができます。
(a) 自律的な屋内ナビゲーションと (b) 自律的な航空機のタキシングのための RGB 画像ベースのニューラル ネットワーク コントローラーを含む 2 つのケース スタディでフレームワークを示します。

要約(オリジナル)

Machine learning driven image-based controllers allow robotic systems to take intelligent actions based on the visual feedback from their environment. Understanding when these controllers might lead to system safety violations is important for their integration in safety-critical applications and engineering corrective safety measures for the system. Existing methods leverage simulation-based testing (or falsification) to find the failures of vision-based controllers, i.e., the visual inputs that lead to closed-loop safety violations. However, these techniques do not scale well to the scenarios involving high-dimensional and complex visual inputs, such as RGB images. In this work, we cast the problem of finding closed-loop vision failures as a Hamilton-Jacobi (HJ) reachability problem. Our approach blends simulation-based analysis with HJ reachability methods to compute an approximation of the backward reachable tube (BRT) of the system, i.e., the set of unsafe states for the system under vision-based controllers. Utilizing the BRT, we can tractably and systematically find the system states and corresponding visual inputs that lead to closed-loop failures. These visual inputs can be subsequently analyzed to find the input characteristics that might have caused the failure. Besides its scalability to high-dimensional visual inputs, an explicit computation of BRT allows the proposed approach to capture non-trivial system failures that are difficult to expose via random simulations. We demonstrate our framework on two case studies involving an RGB image-based neural network controller for (a) autonomous indoor navigation, and (b) autonomous aircraft taxiing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google