Extension of Recurrent Kernels to different Reservoir Computing topologies

要約

Reservoir Computing (RC) は、その高速かつ効率的な計算能力により、近年人気が高まっています。
標準 RC は、漸近限界においてリカレント カーネルと同等であることが示されており、その表現力の分析に役立ちます。
ただし、Leaky RC、Sparse RC、Deep RC などの確立された RC パラダイムの多くは、まだそのような方法で分析されていません。
この研究は、特定の RC アーキテクチャと、対応するリカレント カーネルの定式化との等価性を実証的に分析することで、このギャップを埋めることを目的としています。
各アーキテクチャに実装される活性化関数を変化させて収束検討を行います。
私たちの研究では、RC アーキテクチャにおけるスパース接続の役割も明らかにし、貯水池のサイズに応じた最適なスパース レベルを提案しています。
さらに、私たちの体系的な分析は、Deep RC モデルでは、サイズが減少する連続した貯留層により収束がよりよく達成されることを示しています。

要約(オリジナル)

Reservoir Computing (RC) has become popular in recent years due to its fast and efficient computational capabilities. Standard RC has been shown to be equivalent in the asymptotic limit to Recurrent Kernels, which helps in analyzing its expressive power. However, many well-established RC paradigms, such as Leaky RC, Sparse RC, and Deep RC, are yet to be analyzed in such a way. This study aims to fill this gap by providing an empirical analysis of the equivalence of specific RC architectures with their corresponding Recurrent Kernel formulation. We conduct a convergence study by varying the activation function implemented in each architecture. Our study also sheds light on the role of sparse connections in RC architectures and propose an optimal sparsity level that depends on the reservoir size. Furthermore, our systematic analysis shows that in Deep RC models, convergence is better achieved with successive reservoirs of decreasing sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google