Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN

要約

画像認識の分野では、スパイクニューラルネットワーク（SNNS）は、従来の人工ニューラルネットワーク（ANN）に匹敵するパフォーマンスを達成しました。
このようなアプリケーションでは、SNNは基本的に量子化された活性化値を持つ従来のニューラルネットワークとして機能します。
この記事では、別の代替視点に焦点を当て、SNNをシーケンシャルモデリングタスクのバイナリ活性化再発性ニューラルネットワーク（RNNS）として見ています。この観点から、現在のSNNアーキテクチャはシーケンスモデリングのいくつかの基本的な課題に直面しています。
（2）SNNSの生物学的インスパイア成分（リセットメカニズムや耐火期間アプリケーションなど）は、シーケンスタスクの理論的には不足していないままです。
（3）SNNSのRNN様計算パラダイムは、さまざまなタイムステップ間の並行トレーニングを防ぎます。これらの課題に対処するために、この研究は、バイナリ活性化RNNベースのSNNシーケンスモデルのリセット操作と耐火期間の基本的なメカニズムの体系的な分析を実施します。
このような生物学的メカニズムが、スパーススパイキングパターンを生成するために厳密に必要であるかどうかを再検討し、新しい理論的説明と洞察を提供し、最終的にシーケンスモデリングのための固定抵抗性期間SNNアーキテクチャを提案します。

要約(オリジナル)

In the field of image recognition, spiking neural networks (SNNs) have achieved performance comparable to conventional artificial neural networks (ANNs). In such applications, SNNs essentially function as traditional neural networks with quantized activation values. This article focuses on an another alternative perspective,viewing SNNs as binary-activated recurrent neural networks (RNNs) for sequential modeling tasks.From this viewpoint, current SNN architectures face several fundamental challenges in sequence modeling: (1) Traditional models lack effective memory mechanisms for long-range sequence modeling; (2) The biological-inspired components in SNNs (such as reset mechanisms and refractory period applications) remain theoretically under-explored for sequence tasks; (3) The RNN-like computational paradigm in SNNs prevents parallel training across different timesteps.To address these challenges, this study conducts a systematic analysis of the fundamental mechanisms underlying reset operations and refractory periods in binary-activated RNN-based SNN sequence models. We re-examine whether such biological mechanisms are strictly necessary for generating sparse spiking patterns, provide new theoretical explanations and insights, and ultimately propose the fixed-refractory-period SNN architecture for sequence modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google