Euler State Networks: Non-dissipative Reservoir Computing

要約

常微分方程式の数値解法に着想を得て、この論文では、オイラー状態ネットワーク (EuSN) と呼ばれる新しいリザーバー コンピューティング (RC) モデルを提案します。
提示されたアプローチは、前方オイラー離散化と反対称再帰行列を利用して、構造によって安定で散逸しない貯留層ダイナミクスを設計します。
私たちの数学的分析は、結果として得られるモデルがユニタリの有効スペクトル半径とゼロのローカルリアプノフ指数に向かって偏っており、本質的に安定性の端近くで動作していることを示しています。
長期記憶タスクに関する実験では、複数の時間ステップにわたる入力情報の効果的な伝播を必要とする問題において、提案されたアプローチが標準の RC モデルよりも明らかに優れていることが示されています。
さらに、時系列分類ベンチマークの結果は、EuSN が RC ファミリーのトレーニング効率を維持しながら、トレーニング可能なリカレント ニューラル ネットワークの精度に匹敵する (またはそれを超える) ことができることを示しており、最大 $\約 $490 倍の結果が得られます。
計算時間の節約と、エネルギー消費の約 1,750 倍の節約。

要約(オリジナル)

Inspired by the numerical solution of ordinary differential equations, in this paper we propose a novel Reservoir Computing (RC) model, called the Euler State Network (EuSN). The presented approach makes use of forward Euler discretization and antisymmetric recurrent matrices to design reservoir dynamics that are both stable and non-dissipative by construction. Our mathematical analysis shows that the resulting model is biased towards a unitary effective spectral radius and zero local Lyapunov exponents, intrinsically operating near to the edge of stability. Experiments on long-term memory tasks show the clear superiority of the proposed approach over standard RC models in problems requiring effective propagation of input information over multiple time-steps. Furthermore, results on time-series classification benchmarks indicate that EuSN is able to match (or even exceed) the accuracy of trainable Recurrent Neural Networks, while retaining the training efficiency of the RC family, resulting in up to $\approx$ 490-fold savings in computation time and $\approx$ 1750-fold savings in energy consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google