Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks

要約

タイトル：スパイクニューラルネットワークにおける膜電位分布調整とパラメトリック代替勾配

要約：

– 最近の研究では、新興のネットワークモデルであるスパイクニューラルネットワーク（SNN）が注目を集めています。
– しかし、省エネルギーなバイナリスパイクは勾配降下法に基づくトレーニング手法と合わないため、代替勾配（SG）戦略が研究され、SNNをゼロからトレーニングするために適用されています。
– よく認識されたSG選択ルールが欠けているため、ほとんどのSGは直観的に選択されています。
– パラメトリック代替勾配（PSG）メソッドを提案し、反復的にSGを更新し、最適な代替勾配パラメータを決定することで、候補SGの形を調節します。
– SNNでは、量子化誤差によりニューロン電位分布が予測できないほど偏ってしまうことがあります。そこで、潜在的な前活性の損失を最小限に抑えるための潜在的分布調整（PDA）方法を提案し、その影響を評価します。
– 実験結果は、提案された手法が時間ステップを少なくして、スタティックおよびダイナミックデータセットの両方でSNNをモジュール化し、最新の性能を実現できることを示しています。

要約(オリジナル)

As an emerging network model, spiking neural networks (SNNs) have aroused significant research attentions in recent years. However, the energy-efficient binary spikes do not augur well with gradient descent-based training approaches. Surrogate gradient (SG) strategy is investigated and applied to circumvent this issue and train SNNs from scratch. Due to the lack of well-recognized SG selection rule, most SGs are chosen intuitively. We propose the parametric surrogate gradient (PSG) method to iteratively update SG and eventually determine an optimal surrogate gradient parameter, which calibrates the shape of candidate SGs. In SNNs, neural potential distribution tends to deviate unpredictably due to quantization error. We evaluate such potential shift and propose methodology for potential distribution adjustment (PDA) to minimize the loss of undesired pre-activations. Experimental results demonstrate that the proposed methods can be readily integrated with backpropagation through time (BPTT) algorithm and help modulated SNNs to achieve state-of-the-art performance on both static and dynamic dataset with fewer timesteps.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI