Provably-Safe Neural Network Training Using Hybrid Zonotope Reachability Analysis

要約

安全性が重要なアプリケーションへのニューラル ネットワークの導入が増えていますが、その出力に制約を課すことは依然として困難です。つまり、そのような設定で安全性を保証することは困難です。
これに対処するために、多くの既存の方法は、ニューラル ネットワークが安全制約を満たしていることを検証しようとしていますが、「安全でない」ネットワークを修正する方法については言及していません。
一方で、検証からトレーニング信号を抽出する少数の作品は、非凸集合を扱うことができず、保守的または低速です。
これらの課題に対処するために、この研究では、最近のデータを使用して、非凸の安全でない領域を回避するために、修正線形単位 (ReLU) 非線形性を備えたニューラル ネットワークを通じて、非凸の入力セットの正確に到達可能なセットを促進できるニューラル ネットワークのトレーニング方法を提案します。
その結果、ハイブリッド ゾノトープを使用した非凸集合表現が得られ、混合整数線形計画法 (MILP) から勾配情報が抽出されます。
提案された方法は高速であり、各トレーニング反復の計算の複雑さは、ニューロンの数と入力セットと安全でないセットの複雑さに対して線形の次元数と制約を持つ線形プログラム (LP) を解く場合の計算量に匹敵します。
幅 30 の 3 つの隠れ層を持つニューラル ネットワークの場合、このメソッドは、490 で 21 のジェネレーターと 11 の制約を含む非凸の危険領域から、55 のジェネレーターと 26 の制約を含む非凸入力セットの到達可能なセットを駆動することができました。
秒。

要約(オリジナル)

Even though neural networks are being increasingly deployed in safety-critical applications, it remains difficult to enforce constraints on their output, meaning that it is hard to guarantee safety in such settings. Towards addressing this, many existing methods seek to verify a neural network’s satisfaction of safety constraints, but do not address how to correct an ‘unsafe’ network. On the other hand, the few works that extract a training signal from verification cannot handle non-convex sets, and are either conservative or slow. To address these challenges, this work proposes a neural network training method that can encourage the exact reachable set of a non-convex input set through a neural network with rectified linear unit (ReLU) nonlinearities to avoid a non-convex unsafe region, using recent results in non-convex set representation with hybrid zonotopes and extracting gradient information from mixed-integer linear programs (MILPs). The proposed method is fast, with the computational complexity of each training iteration comparable to that of solving a linear program (LP) with number of dimensions and constraints linear to the number of neurons and complexity of input and unsafe sets. For a neural network with three hidden layers of width 30, the method was able to drive the reachable set of a non-convex input set with 55 generators and 26 constraints out of a non-convex unsafe region with 21 generators and 11 constraints in 490 seconds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google