SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、活動電位の流れの情報を処理できる、生物学にヒントを得たモデルです。
ただし、SNN のシミュレーションとトレーニングは、大規模な連立微分方程式系を解く必要があるため、計算コストが高くなります。
このペーパーでは、スパース SNN をシミュレートおよびトレーニングするための新しいイベントベースのアルゴリズムである SparseProp を紹介します。
私たちのアルゴリズムは、ネットワーク スパイクごとに順方向パス操作と逆方向パス操作の両方の計算コストを O(N) から O(log(N)) に削減するため、大規模なスパイク ネットワークの数値的に正確なシミュレーションと、経時的なバックプロパゲーションを使用した効率的なトレーニングが可能になります。
ネットワークのスパース性を利用することで、SparseProp は各スパイクですべてのニューロンを反復処理する必要性を排除し、代わりに効率的な状態更新を採用します。
100 万個の LIF ニューロンを含むスパース SNN のシミュレーションを含む、いくつかの古典的な統合および発射ニューロン モデルにわたる SparseProp の有効性を実証します。
これにより、以前のイベントベースの実装と比較して 4 桁を超える速度向上が実現します。
私たちの研究は、大規模なスパイキング ニューラル ネットワークをトレーニングするための効率的かつ正確なソリューションを提供し、より洗練された脳にヒントを得たモデルを構築するための新たな可能性を開きます。

要約(オリジナル)

Spiking Neural Networks (SNNs) are biologically-inspired models that are capable of processing information in streams of action potentials. However, simulating and training SNNs is computationally expensive due to the need to solve large systems of coupled differential equations. In this paper, we introduce SparseProp, a novel event-based algorithm for simulating and training sparse SNNs. Our algorithm reduces the computational cost of both the forward and backward pass operations from O(N) to O(log(N)) per network spike, thereby enabling numerically exact simulations of large spiking networks and their efficient training using backpropagation through time. By leveraging the sparsity of the network, SparseProp eliminates the need to iterate through all neurons at each spike, employing efficient state updates instead. We demonstrate the efficacy of SparseProp across several classical integrate-and-fire neuron models, including a simulation of a sparse SNN with one million LIF neurons. This results in a speed-up exceeding four orders of magnitude relative to previous event-based implementations. Our work provides an efficient and exact solution for training large-scale spiking neural networks and opens up new possibilities for building more sophisticated brain-inspired models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google