MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds

要約

スパイク ニューラル ネットワーク (SNN) は、脳ニューロンのスパイクの性質を模倣する生物学に着想を得た方法であり、従来の人工ニューラル ネットワーク (ANN) に代わる有望なエネルギー効率の高い方法です。
SNN の省エネルギーは、主に、2 値化された中間活性化によってもたらされる乗算のない特性によるものです。
この論文では、SNN がより少ないステップでより高い精度に到達できるように、2 値化された活性化によってもたらされる精度の損失を軽減するための複数しきい値 (MT) アプローチを提案しました。
CIFAR10、CIFAR100、および DVS-CIFAR10 でアプローチを評価し、特に初期段階で MT が SNN を広範囲に促進できることを示します。
たとえば、MT を使用すると、Parametric-Leaky-Integrate-Fire (PLIF) ベースの VGG ネットは、1 ステップで ANN の対応物よりも優れています。

要約(オリジナル)

Spiking neural networks (SNNs), as a biology-inspired method mimicking the spiking nature of brain neurons, is a promising energy-efficient alternative to the traditional artificial neural networks (ANNs). The energy saving of SNNs is mainly from multiplication free property brought by binarized intermediate activations. In this paper, we proposed a Multiple Threshold (MT) approach to alleviate the precision loss brought by the binarized activations, such that SNNs can reach higher accuracy at fewer steps. We evaluate the approach on CIFAR10, CIFAR100 and DVS-CIFAR10, and demonstrate that MT can promote SNNs extensively, especially at early steps. For example, With MT, Parametric-Leaky-Integrate-Fire(PLIF) based VGG net can even outperform the ANN counterpart with 1 step.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google