Reachability Analysis of Neural Networks with Uncertain Parameters

要約

現在、ニューラル ネットワークの到達可能性分析方法に関する文献は、ネットワークの入力に関する不確実性のみに焦点を当てています。
この論文では、ニューラルネットワークの到達可能性分析のための2つの新しいアプローチを紹介し、内部パラメータ（各層の重み行列とバイアスベクトル）に追加の不確実性を加えます。
安全なトレーニングやネットワークの修理として。
私たちが提案する最初の主要な方法は、混合単調性に基づく既存の到達可能性分析アプローチに依存しています (最初は動的システムに導入されました)。
2 番目に提案されたアプローチは、検証ツール Neurify で最初に実装され、ツール VeriNet の出版物で最初に言及された ESIP (Error-based Symbolic Interval Propagation) アプローチを拡張したものです。
ESIPアプローチは、ネットワークの入力のみに不確実性がある古典的なケースでは、混合単調性の到達可能性分析よりも優れていることが示されていますが、この論文では、数値シミュレーションを通じて状況が大きく逆転することを示しています（精度、計算時間の点で
、メモリ使用量、およびより広い適用性) を使用して、重みとバイアスの不確実性を処理します。

要約(オリジナル)

The literature on reachability analysis methods for neural networks currently only focuses on uncertainties on the network’s inputs. In this paper, we introduce two new approaches for the reachability analysis of neural networks with additional uncertainties on their internal parameters (weight matrices and bias vectors of each layer), which may open the field of formal methods on neural networks to new topics, such as safe training or network repair. The first and main method that we propose relies on existing reachability analysis approach based on mixed monotonicity (initially introduced for dynamical systems). The second proposed approach extends the ESIP (Error-based Symbolic Interval Propagation) approach which was first implemented in the verification tool Neurify, and first mentioned in the publication of the tool VeriNet. Although the ESIP approach has been shown to often outperform the mixed-monotonicity reachability analysis in the classical case with uncertainties only on the network’s inputs, we show in this paper through numerical simulations that the situation is greatly reversed (in terms of precision, computation time, memory usage, and broader applicability) when dealing with uncertainties on the weights and biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google