Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of recurrent neural networks

要約

貯水池コンピューティングは、機械学習から生物学的システムに至るまでのアプリケーションを備えた高い計算能力と迅速な学習を特徴とするリアルタイム情報処理の強力なフレームワークです。
この論文では、貯留層の再発性ニューラルネットワークの記憶容量が、読み出しニューロンの数とともに断面的にスケーリングすることを示します。
この現象を解明するために、メモリ容量を分析的に導き出すための理論的枠組みを開発し、メモリ容量の減衰成長をニューロン相関に起因します。
さらに、数値シミュレーションにより、メモリ容量がサブリニアになると、読み出しニューロンの数を増やすと、徐々に高い多項式順序で非線形処理が可能になることが明らかになります。
さらに、我々の理論的枠組みは、ニューロンの相関がメモリ能力だけでなく、非線形計算能力の連続的な成長も支配することを示唆しています。
私たちの調査結果は、スケーラブルで費用対効果の高い貯水池コンピューティングを設計するための基盤を確立し、ニューロン相関、線形記憶、および非線形処理の間の相互作用に関する新しい洞察を提供します。

要約(オリジナル)

Reservoir computing is a powerful framework for real-time information processing, characterized by its high computational ability and quick learning, with applications ranging from machine learning to biological systems. In this paper, we demonstrate that the memory capacity of a reservoir recurrent neural network scales sublinearly with the number of readout neurons. To elucidate this phenomenon, we develop a theoretical framework for analytically deriving memory capacity, attributing the decaying growth of memory capacity to neuronal correlations. In addition, numerical simulations reveal that once memory capacity becomes sublinear, increasing the number of readout neurons successively enables nonlinear processing at progressively higher polynomial orders. Furthermore, our theoretical framework suggests that neuronal correlations govern not only memory capacity but also the sequential growth of nonlinear computational capabilities. Our findings establish a foundation for designing scalable and cost-effective reservoir computing, providing novel insights into the interplay among neuronal correlations, linear memory, and nonlinear processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google