Safety Guarantees for Neural Network Dynamic Systems via Stochastic Barrier Functions

要約

ニューラルネットワーク（NNS）は、複雑な動的システムの状態進化を表すために成功裏に採用されています。
このようなモデルは、NNダイナミックモデル（NNDMS）と呼ばれ、NNの反復的な騒々しい予測を使用して、時間の経過に伴うシステム軌跡の分布を推定します。
その正確性にもかかわらず、NNDMSの安全分析は挑戦的な問題であることが知られており、ほとんど未踏のままです。
この問題に対処するために、この論文では、NNDMSの安全保証を提供する方法を紹介します。
私たちのアプローチは、安定性との関係との関係が安定性のあるリャプノフ関数と類似している確率的バリア機能に基づいています。
まず、凸最適化問題を介してNNDMSの確率的バリア関数を合成する方法を示し、それがシステムの安全性確率の下限を提供します。
私たちの方法の重要なステップは、NNSの最近の凸近似結果を採用して、バリア関数合成問題の定式化が平面合計最適化プログラムとしての定式化を可能にすることです。
取得した安全確率が望ましいしきい値を超えている場合、システムは認定されています。
それ以外の場合、システムのコントロールを生成する方法を導入し、最小限の侵襲的な方法で安全性の確率を堅牢に最大化します。
バリア関数の凸性特性を活用して、最適な制御合成問題を線形プログラムとして策定します。
実験結果は、方法の有効性を示しています。
つまり、この方法は、複数のレイヤーと数百のニューロンをレイヤーあたり数百のニューロンで多次元NNDMにスケーリングできることを示しており、コントローラーが安全性の確率を大幅に改善できることを示しています。

要約(オリジナル)

Neural Networks (NNs) have been successfully employed to represent the state evolution of complex dynamical systems. Such models, referred to as NN dynamic models (NNDMs), use iterative noisy predictions of NN to estimate a distribution of system trajectories over time. Despite their accuracy, safety analysis of NNDMs is known to be a challenging problem and remains largely unexplored. To address this issue, in this paper, we introduce a method of providing safety guarantees for NNDMs. Our approach is based on stochastic barrier functions, whose relation with safety are analogous to that of Lyapunov functions with stability. We first show a method of synthesizing stochastic barrier functions for NNDMs via a convex optimization problem, which in turn provides a lower bound on the system’s safety probability. A key step in our method is the employment of the recent convex approximation results for NNs to find piece-wise linear bounds, which allow the formulation of the barrier function synthesis problem as a sum-of-squares optimization program. If the obtained safety probability is above the desired threshold, the system is certified. Otherwise, we introduce a method of generating controls for the system that robustly maximizes the safety probability in a minimally-invasive manner. We exploit the convexity property of the barrier function to formulate the optimal control synthesis problem as a linear program. Experimental results illustrate the efficacy of the method. Namely, they show that the method can scale to multi-dimensional NNDMs with multiple layers and hundreds of neurons per layer, and that the controller can significantly improve the safety probability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google