Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks

要約

この論文は、ReLU 活性化関数を備えたリカレント ニューラル ネットワーク (RNN) の安定性と $\ell_2$ ゲイン パフォーマンスのための十分な条件を示します。
これらの条件は、リアプノフ/散逸性理論と、繰り返し ReLU によって満たされる二次制約 (QC) を組み合わせることによって導出されます。
スカラー ReLU の既知のプロパティを使用して、繰り返される RELU の QC の一般的なクラスを作成します。
私たちの安定性とパフォーマンスの条件では、これらの QC と ReLU RNN の「リフトされた」表現を使用します。
スカラー ReLU によって満たされる正の均一性特性は、反復 ReLU の QC のクラスを拡張しないことを示します。
安定性/パフォーマンス条件を実証し、リフティングホライズンの効果を研究するための例を示します。

要約(オリジナル)

This paper presents sufficient conditions for the stability and $\ell_2$-gain performance of recurrent neural networks (RNNs) with ReLU activation functions. These conditions are derived by combining Lyapunov/dissipativity theory with Quadratic Constraints (QCs) satisfied by repeated ReLUs. We write a general class of QCs for repeated RELUs using known properties for the scalar ReLU. Our stability and performance condition uses these QCs along with a ‘lifted’ representation for the ReLU RNN. We show that the positive homogeneity property satisfied by a scalar ReLU does not expand the class of QCs for the repeated ReLU. We present examples to demonstrate the stability / performance condition and study the effect of the lifting horizon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google