Re-visiting Reservoir Computing architectures optimized by Evolutionary Algorithms

要約

長年にわたり、進化的アルゴリズム (EA) は、ニューラル ネットワーク (NN) アーキテクチャを改善するために適用されてきました。
これらは、ネットワークのトレーニング (重みの調整)、ネットワーク トポロジの設計、グローバル パラメーターの最適化、機能の選択など、さまざまな問題を解決するために使用されています。
ここでは、Reservoir Computing (RC) という名前のリカレント NN の特定のドメインでの EA のアプリケーションに関する体系的な簡単な調査を提供します。
2000 年代の初めに、RC パラダイムは、トレーニング アルゴリズムの不都合に対処せずに再帰型 NN を採用するための優れたオプションとして登場しました。
RC モデルは、\textit{reservoir} という名前の固定再帰型ニューラル ネットワークを備えた非線形動的システムを使用し、学習プロセスは線形パラメトリック関数の調整に限定されます。
%so学習のパフォーマンスは高速かつ正確です。
ただし、RC モデルには複数のハイパーパラメーターがあるため、EA は最適な RC アーキテクチャを見つけるのに役立つツールです。
この分野の結果の概要を説明し、新たな進歩について議論し、新しいトレンドと未解決の問題に関するビジョンを提示します。

要約(オリジナル)

For many years, Evolutionary Algorithms (EAs) have been applied to improve Neural Networks (NNs) architectures. They have been used for solving different problems, such as training the networks (adjusting the weights), designing network topology, optimizing global parameters, and selecting features. Here, we provide a systematic brief survey about applications of the EAs on the specific domain of the recurrent NNs named Reservoir Computing (RC). At the beginning of the 2000s, the RC paradigm appeared as a good option for employing recurrent NNs without dealing with the inconveniences of the training algorithms. RC models use a nonlinear dynamic system, with fixed recurrent neural network named the \textit{reservoir}, and learning process is restricted to adjusting a linear parametric function. %so the performance of learning is fast and precise. However, an RC model has several hyper-parameters, therefore EAs are helpful tools to figure out optimal RC architectures. We provide an overview of the results on the area, discuss novel advances, and we present our vision regarding the new trends and still open questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google