Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks

要約

— 従来の決定論的スパイキング ニューラル ネットワークとサロゲート勾配を包含する理論的枠組みで、現実世界のアプリケーションにおけるさまざまなニューロモーフィック ハードウェア開発のより効率的かつ効果的な使用を促進します。
— 暗黙的な正則化、ロバスト性の向上、および生物学的ニューラル計算の計算アカウントのためのノイズの多いニューロン ダイナミクスを組み込んだスケーラブルなスパイク ニューラル モデル。信頼性の低いニューラル基板が信頼性の高い計算と学習を生み出すことを明らかにします。
スパイクニューロンのネットワークは脳の並外れた情報処理能力を支えており、ニューロ形態知能の柱モデルとして登場しました。
スパイキング ニューラル ネットワーク (SNN) に関する広範な研究にもかかわらず、そのほとんどは決定論的モデルに基づいて確立されています。
ノイズを SNN に統合すると、生物物理学的により現実的な神経ダイナミクスが得られ、モデルのパフォーマンスに利益をもたらす可能性があります。
この研究では、ノイジー ニューロンのダイナミクスを組み込んだスパイキング ニューロン モデルを導入することにより、ノイジー スパイキング ニューラル ネットワーク (NSNN) とノイズ駆動学習規則 (NDL) を提示します。
私たちのアプローチは、ノイズが計算と学習のリソースとしてどのように機能するかを示し、理論的には一般的な SNN のフレームワークを提供します。
私たちの方法は、決定論的SNNよりも競争力のあるパフォーマンスと困難な摂動に対する堅牢性の向上を示し、ニューラルコーディングにおける確率的ニューラル計算をよりよく再現することを示します。
この研究は、機械学習、ニューロモーフィック インテリジェンスの実践者、計算神経科学の研究者に強力で使いやすいツールを提供します。

要約(オリジナル)

— A theoretical framework that subsumes conventional deterministic spiking neural networks and surrogate gradients, facilitating more efficient and effective employment of various neuromorphic hardware developments in real-world applications. — Scalable spiking neural models that incorporate noisy neuronal dynamics for implicit regularization, improved robustness, and computational accounts of biological neural computation, revealing that unreliable neural substrates yield reliable computation and learning. Networks of spiking neurons underpin the extraordinary information-processing capabilities of the brain and have emerged as pillar models in neuromorphic intelligence. Despite extensive research on spiking neural networks (SNNs), most are established on deterministic models. Integrating noise into SNNs leads to biophysically more realistic neural dynamics and may benefit model performance. This work presents the noisy spiking neural network (NSNN) and the noise-driven learning rule (NDL) by introducing a spiking neuron model incorporating noisy neuronal dynamics. Our approach shows how noise may serve as a resource for computation and learning and theoretically provides a framework for general SNNs. We show that our method exhibits competitive performance and improved robustness against challenging perturbations than deterministic SNNs and better reproduces probabilistic neural computation in neural coding. This study offers a powerful and easy-to-use tool for machine learning, neuromorphic intelligence practitioners, and computational neuroscience researchers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google