Spyker: High-performance Library for Spiking Deep Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、その有望な機能により最近明らかになりました。
SNN は、前世代のニューラル ネットワークと比較して、より高い生物学的妥当性で脳をシミュレートします。
これらのネットワークの重要な機能の 1 つは、より少ないサンプルでの学習と消費電力の削減です。
ただし、SNN の理論上の利点は、シミュレーション ツールの速度が遅く、提案されたネットワーク構造が非実用的であるため、実際には見られませんでした。
この作業では、C++/CUDA を使用して Spyker という名前の高性能ライブラリをゼロから実装し、前任者よりも優れています。
大規模ネットワークのシミュレーションにおけるライブラリの実用性を証明するために、Spyker を使用してさまざまな学習ルール (スパイクのタイミングに依存する可塑性および強化学習) を使用していくつかの SNN を実装し、大幅に優れたランタイムを実現します。
私たちの知る限り、モジュラー構造を使用して大規模なスパイキング ニューラル ネットワークを高性能でシミュレートするためのツールは開発されていません。
さらに、Spyker から抽出された表現された刺激と記録された電気生理学データとの比較が実行され、脳機能の根底にある神経メカニズムを記述する際の SNN の適用性が示されます。
このライブラリの目的は、SNN を使用した脳内計算の真の可能性を明らかにするための重要な一歩を踏み出すことです。

要約(オリジナル)

Spiking neural networks (SNNs) have been recently brought to light due to their promising capabilities. SNNs simulate the brain with higher biological plausibility compared to previous generations of neural networks. Learning with fewer samples and consuming less power are among the key features of these networks. However, the theoretical advantages of SNNs have not been seen in practice due to the slowness of simulation tools and the impracticality of the proposed network structures. In this work, we implement a high-performance library named Spyker using C++/CUDA from scratch that outperforms its predecessor. Several SNNs are implemented in this work with different learning rules (spike-timing-dependent plasticity and reinforcement learning) using Spyker that achieve significantly better runtimes, to prove the practicality of the library in the simulation of large-scale networks. To our knowledge, no such tools have been developed to simulate large-scale spiking neural networks with high performance using a modular structure. Furthermore, a comparison of the represented stimuli extracted from Spyker to recorded electrophysiology data is performed to demonstrate the applicability of SNNs in describing the underlying neural mechanisms of the brain functions. The aim of this library is to take a significant step toward uncovering the true potential of the brain computations using SNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google