A Complete Set of Quadratic Constraints For Repeated ReLU

要約

この論文は、反復 ReLU に対する二次制約 (QC) の完全なセットを導き出します。
QC の完全なセットは、$2^{n_v}$ 行列の共陽性条件の集合によって記述されます。ここで、$n_v$ は繰り返される ReLU の次元です。
また、完全なセット内のすべての QC を満たす関数は、反復 ReLU と反復「反転」ReLU の 2 つだけであることも示します。
したがって、QC の完全なセットは、二次形式に固有の符号不変性まで可能な限り厳密に反復 ReLU を制限します。
反復された ReLU に対して同様の完全な増分 QC セットを導出します。これにより、標準の LipSDP アプローチよりも ReLU ネットワークのリプシッツ境界が保守的になる可能性があります。
最後に、ReLU 活性化関数を備えたリカレント ニューラル ネットワークの安定性とパフォーマンスを評価するための QC の完全なセットの使用について説明します。
安定性/パフォーマンス条件は、リアプノフ/散逸性理論と ReLU を繰り返すための QC を組み合わせたものです。
簡単な例を介して数値的な実装を示し、実証します。

要約(オリジナル)

This paper derives a complete set of quadratic constraints (QCs) for the repeated ReLU. The complete set of QCs is described by a collection of $2^{n_v}$ matrix copositivity conditions where $n_v$ is the dimension of the repeated ReLU. We also show that only two functions satisfy all QCs in our complete set: the repeated ReLU and a repeated ‘flipped’ ReLU. Thus our complete set of QCs bounds the repeated ReLU as tight as possible up to the sign invariance inherent in quadratic forms. We derive a similar complete set of incremental QCs for repeated ReLU, which can potentially lead to less conservative Lipschitz bounds for ReLU networks than the standard LipSDP approach. Finally, we illustrate the use of the complete set of QCs to assess stability and performance for recurrent neural networks with ReLU activation functions. The stability/performance condition combines Lyapunov/dissipativity theory with the QCs for repeated ReLU. A numerical implementation is given and demonstrated via a simple example.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google