Fading memory as inductive bias in residual recurrent networks

要約

残差接続は、バックプロパゲーション アルゴリズムでトレーニングした場合に、勾配の爆発および消滅の問題を軽減し、フィードフォワード ネットワークとリカレント ネットワーク (RNN) の両方でタスクのパフォーマンスを向上させる、アーキテクチャ ベースの誘導バイアスとして提案されています。
しかし、RNN 内の残留接続がそのダイナミクスやフェージング メモリ特性にどのような影響を与えるかについてはほとんどわかっていません。
ここでは、弱結合残差リカレント ネットワーク (WCRNN) を導入します。WCRNN では、残差接続によって明確に定義されたリアプノフ指数が得られ、フェージング メモリの特性を研究できるようになります。
WCRNN の残りの接続が、一連のベンチマーク タスクにおけるパフォーマンス、ネットワーク ダイナミクス、メモリ プロパティにどのような影響を与えるかを調査します。
いくつかの異なる形式の残留接続が効果的な誘導バイアスを生成し、結果としてネットワークの表現力が向上することを示します。
特に、(i) カオスのエッジ付近でネットワーク ダイナミクスをもたらす、(ii) ネットワークがデータの特徴的なスペクトル特性を利用できるようにする、(iii) 異種メモリ特性をもたらす残留接続が増加することが示されています。
実践的な表現力。
さらに、結果を非線形残差に拡張する方法を示し、Elman RNN に使用できる弱結合残差初期化スキームを導入します。

要約(オリジナル)

Residual connections have been proposed as architecture-based inductive bias to mitigate the problem of exploding and vanishing gradients and increase task performance in both feed-forward and recurrent networks (RNNs) when trained with the backpropagation algorithm. Yet, little is known about how residual connections in RNNs influence their dynamics and fading memory properties. Here, we introduce weakly coupled residual recurrent networks (WCRNNs) in which residual connections result in well-defined Lyapunov exponents and allow for studying properties of fading memory. We investigate how the residual connections of WCRNNs influence their performance, network dynamics, and memory properties on a set of benchmark tasks. We show that several distinct forms of residual connections yield effective inductive biases that result in increased network expressivity. In particular, residual connections that (i) result in network dynamics at the proximity of the edge of chaos, (ii) allow networks to capitalize on characteristic spectral properties of the data, and (iii) result in heterogeneous memory properties are shown to increase practical expressivity. In addition, we demonstrate how our results can be extended to non-linear residuals and introduce a weakly coupled residual initialization scheme that can be used for Elman RNNs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google