Improving the Performance of Echo State Networks Through State Feedback

要約

非線形動的システムを使用するリザーバー コンピューティングは、逐次データの処理、時系列モデリング、およびシステム識別を含む複雑なタスクに対して、ニューラル ネットワークに代わる費用対効果の高い代替手段を提供します。
リザーバー コンピューターの一種であるエコー ステート ネットワーク (ESN) は、ニューラル ネットワークを反映していますが、トレーニングを簡素化します。
これらは、内部状態に固定のランダムな線形変換を適用し、その後に非線形の変化を適用します。
このプロセスは、入力信号と線形回帰によって導かれ、ターゲットの特性に一致するようにシステムを適応させ、計算量を削減します。
ESN の潜在的な欠点は、固定リザーバーが特定の問題に必要な複雑さを提供できない可能性があることです。
内部 ESN を直接変更 (トレーニング) すると計算負荷が再び生じますが、一部の出力を入力としてリダイレクトすることで間接的な変更を実現できます。
このフィードバックは内部リザーバーの状態に影響を与える可能性があり、より広範な課題に適した複雑性が強化された ESN が得られます。
この論文では、入力を通じてリザーバ状態の一部のコンポーネントをネットワークにフィードバックすることで、特定の ESN のパフォーマンスを大幅に向上できることを実証します。
私たちは、特定の ESN について、フィードバックによってほぼ常に出力の精度が向上することを厳密に証明しています。
それぞれが異なる問題クラスを表す 3 つのタスクのセットについて、フィードバックにより平均エラー測定値が $30\%-60\%$ 削減されることがわかりました。
注目すべきことに、フィードバックは、計算コストが高く技術的に困難な代替手段である計算ノードの初期数を 2 倍にするのと少なくとも同等のパフォーマンス向上をもたらします。
これらの結果は、このフィードバック スキームの幅広い適用性と実質的な有用性を示しています。

要約(オリジナル)

Reservoir computing, using nonlinear dynamical systems, offers a cost-effective alternative to neural networks for complex tasks involving processing of sequential data, time series modeling, and system identification. Echo state networks (ESNs), a type of reservoir computer, mirror neural networks but simplify training. They apply fixed, random linear transformations to the internal state, followed by nonlinear changes. This process, guided by input signals and linear regression, adapts the system to match target characteristics, reducing computational demands. A potential drawback of ESNs is that the fixed reservoir may not offer the complexity needed for specific problems. While directly altering (training) the internal ESN would reintroduce the computational burden, an indirect modification can be achieved by redirecting some output as input. This feedback can influence the internal reservoir state, yielding ESNs with enhanced complexity suitable for broader challenges. In this paper, we demonstrate that by feeding some component of the reservoir state back into the network through the input, we can drastically improve upon the performance of a given ESN. We rigorously prove that, for any given ESN, feedback will almost always improve the accuracy of the output. For a set of three tasks, each representing different problem classes, we find that with feedback the average error measures are reduced by $30\%-60\%$. Remarkably, feedback provides at least an equivalent performance boost to doubling the initial number of computational nodes, a computationally expensive and technologically challenging alternative. These results demonstrate the broad applicability and substantial usefulness of this feedback scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google