Safety Guarantees for Neural Network Dynamic Systems via Stochastic Barrier Functions

要約

ニューラル ネットワーク (NN) は、複雑な動的システムの状態進化を表現するためにうまく使用されています。
このようなモデルは、NN 動的モデル (NNDM) と呼ばれ、NN の反復的なノイズを含む予測を使用して、時間の経過に伴うシステム軌跡の分布を推定します。
NNDM の安全性分析は、その精度にもかかわらず、困難な問題であることが知られており、ほとんど解明されていません。
この問題に対処するために、この論文では、NNDM の安全性を保証する方法を紹介します。
私たちのアプローチは確率的バリア関数に基づいており、その安全性との関係は、安定性とリアプノフ関数の関係に類似しています。
まず、凸最適化問題を介して NNDM の確率的バリア関数を合成する方法を示します。これにより、システムの安全確率の下限が提供されます。
私たちの方法の重要なステップは、NN の最近の凸近似結果を使用して区分的な線形境界を見つけることです。これにより、バリア関数合成問題を二乗和最適化プログラムとして定式化できます。
取得された安全確率が望ましい閾値を超えている場合、システムは認定されます。
それ以外の場合は、最小限の侵襲的な方法で安全確率を確実に最大化するシステムの制御を生成する方法を導入します。
バリア関数の凸性特性を利用して、最適な制御合成問題を線形プログラムとして定式化します。
実験結果は、この方法の有効性を示しています。
つまり、この方法が複数の層と層ごとに数百のニューロンを持つ多次元 NNDM に拡張できること、およびコントローラーが安全確率を大幅に向上できることを示しています。

要約(オリジナル)

Neural Networks (NNs) have been successfully employed to represent the state evolution of complex dynamical systems. Such models, referred to as NN dynamic models (NNDMs), use iterative noisy predictions of NN to estimate a distribution of system trajectories over time. Despite their accuracy, safety analysis of NNDMs is known to be a challenging problem and remains largely unexplored. To address this issue, in this paper, we introduce a method of providing safety guarantees for NNDMs. Our approach is based on stochastic barrier functions, whose relation with safety are analogous to that of Lyapunov functions with stability. We first show a method of synthesizing stochastic barrier functions for NNDMs via a convex optimization problem, which in turn provides a lower bound on the system’s safety probability. A key step in our method is the employment of the recent convex approximation results for NNs to find piece-wise linear bounds, which allow the formulation of the barrier function synthesis problem as a sum-of-squares optimization program. If the obtained safety probability is above the desired threshold, the system is certified. Otherwise, we introduce a method of generating controls for the system that robustly maximizes the safety probability in a minimally-invasive manner. We exploit the convexity property of the barrier function to formulate the optimal control synthesis problem as a linear program. Experimental results illustrate the efficacy of the method. Namely, they show that the method can scale to multi-dimensional NNDMs with multiple layers and hundreds of neurons per layer, and that the controller can significantly improve the safety probability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google