ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks

要約

スパイクニューラルネットワーク（SNN）は、そのエネルギー効率の良い、イベント駆動型処理と生物学的妥当性に注目を集めています。
Backpropagationを介してSNNを訓練するには、代理勾配を使用して非拡張不可能なスパイク関数を近似しますが、サロゲートグラデーションサポート幅ガンマと呼ばれる発火しきい値の近くに狭い範囲の膜電位内で非ゼロ誘導体のみを維持します。
ガンマのジレンマと呼ばれる主要な課題を特定します。比較的大きなガンマは過剰なニューロン発火を特徴とする過剰活性化につながります。
これに対処するために、生物学的抑制メカニズムに触発された、時間的抑制漏れ漏れ統合と火災（ILIF）ニューロンモデルを提案します。
このモデルには、膜電位と電流のための相互接続された抑制ユニットが組み込まれており、勾配伝播を維持しながら過活動を効果的に緩和します。
理論分析は、ガンマのジレンマを克服する際のILIFの有効性を示しており、複数のデータセットでの広範な実験は、ILIFが発火率を減らし、トレーニングを安定させ、精度を高めることでエネルギー効率を改善することを示しています。
コードはgithub.com/kaisun1/ilifで入手できます。

要約(オリジナル)

The Spiking Neural Network (SNN) has drawn increasing attention for its energy-efficient, event-driven processing and biological plausibility. To train SNNs via backpropagation, surrogate gradients are used to approximate the non-differentiable spike function, but they only maintain nonzero derivatives within a narrow range of membrane potentials near the firing threshold, referred to as the surrogate gradient support width gamma. We identify a major challenge, termed the dilemma of gamma: a relatively large gamma leads to overactivation, characterized by excessive neuron firing, which in turn increases energy consumption, whereas a small gamma causes vanishing gradients and weakens temporal dependencies. To address this, we propose a temporal Inhibitory Leaky Integrate-and-Fire (ILIF) neuron model, inspired by biological inhibitory mechanisms. This model incorporates interconnected inhibitory units for membrane potential and current, effectively mitigating overactivation while preserving gradient propagation. Theoretical analysis demonstrates ILIF effectiveness in overcoming the gamma dilemma, and extensive experiments on multiple datasets show that ILIF improves energy efficiency by reducing firing rates, stabilizes training, and enhances accuracy. The code is available at github.com/kaisun1/ILIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google