Gradient-free training of recurrent neural networks

要約

再発性ニューラルネットワークは、時系列分析、予測、動的システムのモデリングなど、多くの時間依存性の問題に対する神経アーキテクチャの成功です。
そのようなネットワークのトレーニングは、損失の勾配が爆発または消滅する傾向があるため、有名な問題です。
この貢献では、勾配ベースの方法を使用せずに、再発性ニューラルネットワークのすべての重みとバイアスを構築するための計算アプローチを導入します。
このアプローチは、動的システムのランダム機能ネットワークとKoopmanオペレーター理論の組み合わせに基づいています。
単一の再発ブロックの隠されたパラメーターはランダムにサンプリングされますが、外側の重みは拡張動的モード分解を使用して構築されます。
このアプローチは、再発ネットワークに一般的に関連するバックプロパゲーションのすべての問題を軽減します。
Koopmanオペレーター理論との接続により、この領域で結果の使用を開始して、再発性ニューラルネットワークを分析することもできます。
時系列の計算実験、混oticとした動的システムの予測、および制御の問題、および気象データに関するものでは、一般的に使用されるグラデーションベースの勾配ベースの勾配ベースと比較して、構築する再発性ニューラルネットワークのトレーニング時間と予測精度が改善されることを観察します。
方法。

要約(オリジナル)

Recurrent neural networks are a successful neural architecture for many time-dependent problems, including time series analysis, forecasting, and modeling of dynamical systems. Training such networks with backpropagation through time is a notoriously difficult problem because their loss gradients tend to explode or vanish. In this contribution, we introduce a computational approach to construct all weights and biases of a recurrent neural network without using gradient-based methods. The approach is based on a combination of random feature networks and Koopman operator theory for dynamical systems. The hidden parameters of a single recurrent block are sampled at random, while the outer weights are constructed using extended dynamic mode decomposition. This approach alleviates all problems with backpropagation commonly related to recurrent networks. The connection to Koopman operator theory also allows us to start using results in this area to analyze recurrent neural networks. In computational experiments on time series, forecasting for chaotic dynamical systems, and control problems, as well as on weather data, we observe that the training time and forecasting accuracy of the recurrent neural networks we construct are improved when compared to commonly used gradient-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google