Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks

要約

脳の驚異的な情報処理能力を支えるスパイキングニューロンのネットワークは、ニューロモルフィックインテリジェンスの柱となるモデルとして登場した。スパイク神経回路網（SNN）の研究は盛んですが、その多くは決定論的なモデルで確立されています。SNNにノイズを組み込むことで、生物物理学的により現実的な神経ダイナミクスが得られ、モデル性能に寄与する可能性があります。本研究では、ノイズを含んだ神経ダイナミクスを持つスパイキングニューロンモデルを導入することで、ノイズスパイキングニューラルネットワーク（NSNN）とノイズドリブン学習ルール（NDL）を提案する。我々のアプローチは、ノイズが計算と学習のリソースとしてどのように機能するかを示し、理論的に一般的なSNNの枠組みを提供する。さらに、NDLは代用勾配に対する洞察に満ちた生物学的根拠を提供する。様々なSNNアーキテクチャとアルゴリズムを取り入れることで、我々のアプローチは決定論的SNNよりも競争力のある性能を示し、困難な摂動に対する頑健性が向上していることを示すことができる。さらに、NSNNモデルが神経コーディングの研究に有用であることを実証する。全体として、NSNNは機械学習の実践者や計算論的神経科学の研究者にとって、強力かつ柔軟で使い勝手の良いツールである。

要約(オリジナル)

Networks of spiking neurons underpin the extraordinary information-processing capabilities of the brain and have emerged as pillar models in neuromorphic intelligence. Despite extensive research on spiking neural networks (SNNs), most are established on deterministic models. Integrating noise into SNNs leads to biophysically more realistic neural dynamics and may benefit model performance. This work presents the noisy spiking neural network (NSNN) and the noise-driven learning rule (NDL) by introducing a spiking neuron model incorporating noisy neuronal dynamics. Our approach shows how noise may act as a resource for computation and learning and theoretically provides a framework for general SNNs. Moreover, NDL provides an insightful biological rationale for surrogate gradients. By incorporating various SNN architectures and algorithms, we show that our approach exhibits competitive performance and improved robustness against challenging perturbations than deterministic SNNs. Additionally, we demonstrate the utility of the NSNN model for neural coding studies. Overall, NSNN offers a powerful, flexible, and easy-to-use tool for machine learning practitioners and computational neuroscience researchers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL