Membrane Potential Batch Normalization for Spiking Neural Networks

要約

従来のニューラル ネットワーク (CNN) に代わるエネルギー効率の高い代替手段の 1 つとして、スパイキング ニューラル ネットワーク (SNN) への関心が最近ますます高まっています。
深いモデルをトレーニングするために、いくつかの効果的なバッチ正規化 (BN) 手法が SNN で提案されています。
これらすべての BN は、CNN で通常行われているように、畳み込み層の後に使用することが推奨されています。
ただし、スパイキング ニューロンは、時空間ダイナミクスがはるかに複雑です。
BN 層以降の調整されたデータ フローは、発火関数前の膜電位更新操作、つまり非線形活性化によって再び乱されます。
したがって、膜電位を再度正規化するために、発火機能の前に MPBN と呼ばれる別の BN 層を追加することを推奨します。
MPBN によって引き起こされる時間コストを排除するために、トレーニングされた MPBN を発火閾値に折り畳むためのトレーニングと推論を分離した再パラメータ化手法も提案します。
再パラメータ化手法を使用すると、MPBN は推論に余分な時間負担を導入しません。
さらに、MPBN は要素ごとの形式を採用することもできますが、畳み込み層以降の BN はチャネルごとの形式のみを使用できます。
実験結果は、提案された MPBN が一般的な非スパイク静的データセットとニューロモーフィック データセットの両方で良好に機能することを示しています。
私たちのコードは \href{https://github.com/yfguo91/MPBN}{MPBN} でオープンソース化されています。

要約(オリジナル)

As one of the energy-efficient alternatives of conventional neural networks (CNNs), spiking neural networks (SNNs) have gained more and more interest recently. To train the deep models, some effective batch normalization (BN) techniques are proposed in SNNs. All these BNs are suggested to be used after the convolution layer as usually doing in CNNs. However, the spiking neuron is much more complex with the spatio-temporal dynamics. The regulated data flow after the BN layer will be disturbed again by the membrane potential updating operation before the firing function, i.e., the nonlinear activation. Therefore, we advocate adding another BN layer before the firing function to normalize the membrane potential again, called MPBN. To eliminate the induced time cost of MPBN, we also propose a training-inference-decoupled re-parameterization technique to fold the trained MPBN into the firing threshold. With the re-parameterization technique, the MPBN will not introduce any extra time burden in the inference. Furthermore, the MPBN can also adopt the element-wised form, while these BNs after the convolution layer can only use the channel-wised form. Experimental results show that the proposed MPBN performs well on both popular non-spiking static and neuromorphic datasets. Our code is open-sourced at \href{https://github.com/yfguo91/MPBN}{MPBN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google