Separation capacity of linear reservoirs with random connectivity matrix

要約

我々は、リザーバーコンピューティングの成功はリザーバーの分離能力にあると主張し、ランダムな線形リザーバーの期待される分離能力が、関連する一般化されたモーメント行列のスペクトル分解によって完全に特徴付けられることを示します。
特に興味深いのは、対称であるか、エントリがすべて独立しているガウス行列を持つリザーバーです。
対称の場合、分離能力は時間の経過とともに常に低下することが証明されます。
一方、短い入力の場合、行列のエントリが係数 $\rho_T/\sqrt{N}$ でスケーリングされるときに、大きなリザーバでの分離が最もよく達成されます。ここで、$N$ はリザーバの次元であり、$\rho_T$ は依存します
入力時系列の最大長について。
i.i.d.では
この場合、貯留層行列のエントリが正確な係数 $1/\sqrt{N}$ でスケーリングされると、大きな貯留層での最適な分離が一貫して達成されることが確立されます。
さらに、時系列の長さに応じて分離の質に上限を与えます。
この分析を補完するために、この分離の可能性と、選択したアーキテクチャが分離の一貫性に及ぼす影響を調査します。

要約(オリジナル)

We argue that the success of reservoir computing lies within the separation capacity of the reservoirs and show that the expected separation capacity of random linear reservoirs is fully characterised by the spectral decomposition of an associated generalised matrix of moments. Of particular interest are reservoirs with Gaussian matrices that are either symmetric or whose entries are all independent. In the symmetric case, we prove that the separation capacity always deteriorates with time; while for short inputs, separation with large reservoirs is best achieved when the entries of the matrix are scaled with a factor $\rho_T/\sqrt{N}$, where $N$ is the dimension of the reservoir and $\rho_T$ depends on the maximum length of the input time series. In the i.i.d. case, we establish that optimal separation with large reservoirs is consistently achieved when the entries of the reservoir matrix are scaled with the exact factor $1/\sqrt{N}$. We further give upper bounds on the quality of separation in function of the length of the time series. We complement this analysis with an investigation of the likelihood of this separation and the impact of the chosen architecture on separation consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google