The Power of Linear Recurrent Neural Networks

要約

リカレント ニューラル ネットワークは、時系列に対処する強力な手段です。
自己回帰線形、つまり線形活性化リカレント ニューラル ネットワーク (LRNN) が時間依存関数 f(t) をどのように近似できるかを示します。
近似は、線形方程式系を単純に解くだけで効果的に学習できます。
バックプロパゲーションや類似の方法は必要ありません。
さらに、これがこの記事の主な貢献点ですが、最も関連性の高いコンポーネントのみを取得することで、ネットワーク遷移行列のスペクトル (固有値) を検査した後、1 ステップで LRNN のサイズを大幅に削減できます。
したがって、他のアプローチとは対照的に、ネットワークの重みだけでなくネットワーク アーキテクチャも学習します。
LRNN には興味深い特性があります。LRNN は長期的には楕円軌道になり、さらなる値の予測と関数のコンパクトな表現を可能にします。
私たちはこれを、複数の重畳発振器 (MSO)、ロボットサッカー (ロボカップ)、株価予測などのいくつかの実験によって実証します。
LRNN は、最小限のユニット数で MSO タスクの以前の最先端のパフォーマンスを上回ります。

要約(オリジナル)

Recurrent neural networks are a powerful means to cope with time series. We show how autoregressive linear, i.e., linearly activated recurrent neural networks (LRNNs) can approximate any time-dependent function f(t). The approximation can effectively be learned by simply solving a linear equation system; no backpropagation or similar methods are needed. Furthermore, and this is the main contribution of this article, the size of an LRNN can be reduced significantly in one step after inspecting the spectrum of the network transition matrix, i.e., its eigenvalues, by taking only the most relevant components. Therefore, in contrast to other approaches, we do not only learn network weights but also the network architecture. LRNNs have interesting properties: They end up in ellipse trajectories in the long run and allow the prediction of further values and compact representations of functions. We demonstrate this by several experiments, among them multiple superimposed oscillators (MSO), robotic soccer (RoboCup), and stock price prediction. LRNNs outperform the previous state-of-the-art for the MSO task with a minimal number of units.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google