Gaining the Sparse Rewards by Exploring Binary Lottery Tickets in Spiking Neural Network

要約

脳にインスピレーションを得た戦略としてのスパイキング ニューラル ネットワーク (SNN) は、その固有のスパイキング情報状態に由来する高スパース性と低電力特性により多くの注目を集めています。
SNN の効率をさらに向上させるために、一部の研究では、人工ニューラル ネットワーク (ANN) が元のネットワークのパフォーマンスを犠牲にすることなくサブネットワークを含むことを示す宝くじチケット (LT) 仮説も SNN に存在すると宣言しています。
ただし、SNN によって扱われるスパイク情報には、スパース化における 2 値化との自然な類似性と親和性があります。
したがって、SNN の効率をさらに調査するために、この論文では、(1) バイナリ SNN における LT の有無、および (2) 単純なモデルの 2 値化と比較して、バイナリ情報の処理に関してスパイキング メカニズムが優れた戦略であるかどうかに焦点を当てます。
これらの消費を証明するために、さまざまなネットワーク構造の下でバイナリ ウェイト スパイキング宝くじチケット (BinW-SLT) を見つけるためのスパース トレーニング方法が提案されています。
包括的な評価を通じて、BinW-SLT はバイナリ LT と比較して CIFAR-10 および CIFAR-100 で最大 +5.86% および +3.17% の改善を達成でき、また、フル LT と比較して 1.86 倍および 8.92 倍のエネルギー節約を達成できることを示しています。
高精度の SNN および ANN。

要約(オリジナル)

Spiking Neural Network (SNN) as a brain-inspired strategy receives lots of attention because of the high-sparsity and low-power properties derived from its inherent spiking information state. To further improve the efficiency of SNN, some works declare that the Lottery Tickets (LTs) Hypothesis, which indicates that the Artificial Neural Network (ANN) contains a subnetwork without sacrificing the performance of the original network, also exists in SNN. However, the spiking information handled by SNN has a natural similarity and affinity with binarization in sparsification. Therefore, to further explore SNN efficiency, this paper focuses on (1) the presence or absence of LTs in the binary SNN, and (2) whether the spiking mechanism is a superior strategy in terms of handling binary information compared to simple model binarization. To certify these consumptions, a sparse training method is proposed to find Binary Weights Spiking Lottery Tickets (BinW-SLT) under different network structures. Through comprehensive evaluations, we show that BinW-SLT could attain up to +5.86% and +3.17% improvement on CIFAR-10 and CIFAR-100 compared with binary LTs, as well as achieve 1.86x and 8.92x energy saving compared with full-precision SNN and ANN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google