Falsification of Autonomous Systems in Rich Environments

要約

自動コントローラーに依存する自律的なサイバー物理システム (CPS) および人工知能 (AI) エージェントの動作を検証することは、非常に重要な目標です。
近年、ニューラルネットワーク (NN) コントローラーが大きな期待を集めています。
残念ながら、このような学習済みコントローラーは認定されていないことが多く、システムに予測不可能な動作や危険な動作が発生する可能性があります。
この問題を軽減するために、システムの自動検証に多大な努力が払われてきました。
具体的には、「ブラックボックス テスト」のカテゴリに属する​​研究では、システム シミュレーションの繰り返しを利用して、仕様に違反するシステム実行の偽りの反例を見つけます。
高忠実度のシミュレーションの実行には計算負荷がかかるため、改ざんアプローチの目標は、改ざん例を返すために必要なシミュレーションの労力 (NN 推論クエリ) を最小限に抑えることです。
これは、特にテスト対象のコントローラーが十分に訓練されている場合には、大きな課題となることがよくあります。
この研究は、不確実な環境で動作する正式な仕様に基づく自律システムに対する新しい改ざんアプローチに貢献します。
私たちは、高次元のシミュレーション依存のセンサー観測を生み出す、リッチで意味的に定義されたオープンな環境で動作する CPS に特に興味を持っています。
私たちのアプローチは、調査されたシステムを包み込み、カプセル化する「メタシステム」の軌道を計画する問題として、改ざん問題の新たな再定式化を導入します。
私たちはこのアプローチをメタプランニングと呼んでいます。
この定式化は、標準的なサンプリングベースの動作計画技術 (RRT など) で解決でき、領域知識を徐々に統合して検索を改善できます。
我々は、NN コントローラーを備えた障害物回避自動運転車の改ざんに関する実験研究によって、提案されたアプローチを支持します。この研究では、メタプランニングが代替アプローチよりも優れたパフォーマンスを実証しています。

要約(オリジナル)

Validating the behavior of autonomous Cyber-Physical Systems (CPS) and Artificial Intelligence (AI) agents, which rely on automated controllers, is an objective of great importance. In recent years, Neural-Network (NN) controllers have been demonstrating great promise. Unfortunately, such learned controllers are often not certified and can cause the system to suffer from unpredictable or unsafe behavior. To mitigate this issue, a great effort has been dedicated to automated verification of systems. Specifically, works in the category of “black-box testing” rely on repeated system simulations to find a falsifying counterexample of a system run that violates a specification. As running high-fidelity simulations is computationally demanding, the goal of falsification approaches is to minimize the simulation effort (NN inference queries) needed to return a falsifying example. This often proves to be a great challenge, especially when the tested controller is well-trained. This work contributes a novel falsification approach for autonomous systems under formal specification operating in uncertain environments. We are especially interested in CPS operating in rich, semantically-defined, open environments, which yield high-dimensional, simulation-dependent sensor observations. Our approach introduces a novel reformulation of the falsification problem as the problem of planning a trajectory for a “meta-system,” which wraps and encapsulates the examined system; we call this approach: meta-planning. This formulation can be solved with standard sampling-based motion-planning techniques (like RRT) and can gradually integrate domain knowledge to improve the search. We support the suggested approach with an experimental study on falsification of an obstacle-avoiding autonomous car with a NN controller, where meta-planning demonstrates superior performance over alternative approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google