Fading memory as inductive bias in residual recurrent networks

要約

残差結合は、バックプロパゲーションアルゴリズムで学習した場合のフィードフォワードネットワークとリカレントネットワーク（RNN）の両方において、勾配の爆発と消失の問題を緩和し、タスクパフォーマンスを向上させるためのアーキテクチャベースの誘導バイアスとして提案されている。しかし、RNNにおける残差結合が、RNNのダイナミクスやフェージングメモリ特性にどのような影響を与えるかについては、ほとんど知られていない。ここでは、弱結合残差リカレントネットワーク（WCRNN）を紹介する。WCRNNでは、残差結合によってリアプノフ指数が明確に定義され、フェージングメモリの特性を研究することができる。我々は、WCRNNの残差結合が、一連のベンチマークタスクにおける性能、ネットワークダイナミクス、メモリ特性にどのような影響を与えるかを調べる。我々は、いくつかの異なる形の残差結合が、ネットワークの表現力を高める効果的な帰納バイアスをもたらすことを示す。特に、(i)カオスのエッジに近いネットワークダイナミクスをもたらす残差接続、(ii)ネットワークがデータの特徴的なスペクトル特性を利用できるようにする残差接続、(iii)不均一なメモリ特性をもたらす残差接続である。さらに、我々の結果がどのように非線形残差に拡張できるかを示し、Elman RNNに使用可能な弱結合残差初期化スキームを紹介する。

要約(オリジナル)

Residual connections have been proposed as an architecture-based inductive bias to mitigate the problem of exploding and vanishing gradients and increased task performance in both feed-forward and recurrent networks (RNNs) when trained with the backpropagation algorithm. Yet, little is known about how residual connections in RNNs influence their dynamics and fading memory properties. Here, we introduce weakly coupled residual recurrent networks (WCRNNs) in which residual connections result in well-defined Lyapunov exponents and allow for studying properties of fading memory. We investigate how the residual connections of WCRNNs influence their performance, network dynamics, and memory properties on a set of benchmark tasks. We show that several distinct forms of residual connections yield effective inductive biases that result in increased network expressivity. In particular, those are residual connections that (i) result in network dynamics at the proximity of the edge of chaos, (ii) allow networks to capitalize on characteristic spectral properties of the data, and (iii) result in heterogeneous memory properties. In addition, we demonstrate how our results can be extended to non-linear residuals and introduce a weakly coupled residual initialization scheme that can be used for Elman RNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL