Euler State Networks: Non-dissipative Reservoir Computing

要約

常微分方程式の数値解法に着想を得て、この論文では、オイラー状態ネットワーク (EuSN) と呼ばれる新しいリザーバー コンピューティング (RC) モデルを提案します。
導入されたアプローチは、前方オイラー離散化と反対称再帰行列を利用して、構造によって安定で散逸しない貯留層ダイナミクスを設計します。
私たちの数学的分析は、結果として得られるモデルがユニタリの有効スペクトル半径とゼロのローカルリアプノフ指数に偏っており、本質的に安定性の端で動作していることを示しています。
合成タスクに関する実験は、長期記憶スキルを必要とするタスクにおいて、標準的な RC モデルと比較して、提案されたアプローチの顕著な優位性を示しています。
さらに、実世界の時系列分類ベンチマークの結果は、EuSN がトレーニング可能なリカレント ニューラル ネットワークの精度レベルに匹敵する (またはそれを上回る) 能力を持ちながら、計算時間とエネルギー消費を最大 100 倍節約できることを示しています。

要約(オリジナル)

Inspired by the numerical solution of ordinary differential equations, in this paper we propose a novel Reservoir Computing (RC) model, called the Euler State Network (EuSN). The introduced approach makes use of forward Euler discretization and antisymmetric recurrent matrices to design reservoir dynamics that are both stable and non-dissipative by construction. Our mathematical analysis shows that the resulting model is biased towards unitary effective spectral radius and zero local Lyapunov exponents, intrinsically operating at the edge of stability. Experiments on synthetic tasks indicate the marked superiority of the proposed approach, compared to standard RC models, in tasks requiring long-term memorization skills. Furthermore, results on real-world time series classification benchmarks point out that EuSN is capable of matching (or even surpassing) the level of accuracy of trainable Recurrent Neural Networks, while allowing up to 100-fold savings in computation time and energy consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google