A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations

要約

この論文は、反復 ReLU に対する二次制約 (QC) の完全なセットを導き出します。
QC の完全なセットは、行列の共陽性条件の集合によって記述されます。
また、完全なセット内のすべての QC を満たす関数は、反復 ReLU と反転 ReLU の 2 つだけであることも示します。
したがって、QC の完全なセットは、二次形式に固有の符号不変性まで可能な限り厳密に反復 ReLU を制限します。
反復された ReLU に対して同様の完全な増分 QC セットを導出します。これにより、標準の LipSDP アプローチよりも ReLU ネットワークのリプシッツ境界が保守的になる可能性があります。
基本構造は、リーキー ReLU、MaxMin、HouseHolder などの他の区分線形活性化関数の QC の完全なセットを導出するためにも使用されます。
最後に、ReLU 活性化関数を備えたリカレント ニューラル ネットワークの安定性とパフォーマンスを評価するための QC の完全なセットの使用について説明します。
標準的な共実証緩和に依存して、安定性/パフォーマンス条件を半明確なプログラムとして定式化します。
QC の完全なセットと増分 QC が既存のセットよりも保守的でない境界を生成できることを示すために、簡単な例が提供されています。

要約(オリジナル)

This paper derives a complete set of quadratic constraints (QCs) for the repeated ReLU. The complete set of QCs is described by a collection of matrix copositivity conditions. We also show that only two functions satisfy all QCs in our complete set: the repeated ReLU and flipped ReLU. Thus our complete set of QCs bounds the repeated ReLU as tight as possible up to the sign invariance inherent in quadratic forms. We derive a similar complete set of incremental QCs for repeated ReLU, which can potentially lead to less conservative Lipschitz bounds for ReLU networks than the standard LipSDP approach. The basic constructions are also used to derive the complete sets of QCs for other piecewise linear activation functions such as leaky ReLU, MaxMin, and HouseHolder. Finally, we illustrate the use of the complete set of QCs to assess stability and performance for recurrent neural networks with ReLU activation functions. We rely on a standard copositivity relaxation to formulate the stability/performance condition as a semidefinite program. Simple examples are provided to illustrate that the complete sets of QCs and incremental QCs can yield less conservative bounds than existing sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google