Lottery Ticket Hypothesis for Spiking Neural Networks

要約

Spiking Neural Networks (SNN) は、低消費電力の新世代のディープニューラルネットワークとして最近登場し、バイナリスパイクが複数のタイムステップに渡って情報を伝達します。SNNのプルーニングは、リソースが制限されるモバイル/エッジデバイスに展開されるようになるため、非常に重要です。これまでのSNNプルーニングは浅いSNN(2~6層)を対象としていましたが、最先端のSNNでは深いSNN(16層以上)が提案されており、現在のプルーニングと両立させることは困難です。そこで、我々はロッタリーチケット仮説(LTH)と呼ばれる、密なネットワークにはより小さなサブネットワーク(当選券)が存在し、密なネットワークと同等の性能を持つという仮説を検証した。LTHに関する我々の研究により、様々なデータセットやアーキテクチャにおいて、深層SNNに一貫して当選チケットが存在し、大きな性能低下なしに最大97%のスパース性を提供することが明らかになった。しかし、LTHの反復探索プロセスは、SNNの複数のタイムステップと組み合わせると、膨大な学習計算コストをもたらす。そこで我々は，より少ないタイムステップから重要な重み結合を求めるET（Early-Time）チケットを提案する．提案するETチケットは、Iterative Magnitude Pruning (IMP) やEarly-Bird (EB) チケットといった、勝てるチケットを見つけるための一般的な刈り込み手法とシームレスに組み合わせることができる。実験の結果、提案するETチケットはIMPやEB手法と比較して、探索時間を最大で38%短縮できることがわかった。

要約(オリジナル)

Spiking Neural Networks (SNNs) have recently emerged as a new generation of low-power deep neural networks where binary spikes convey information across multiple timesteps. Pruning for SNNs is highly important as they become deployed on a resource-constraint mobile/edge device. The previous SNN pruning works focus on shallow SNNs (2~6 layers), however, deeper SNNs (>16 layers) are proposed by state-of-the-art SNN works, which is difficult to be compatible with the current pruning work. To scale up a pruning technique toward deep SNNs, we investigate Lottery Ticket Hypothesis (LTH) which states that dense networks contain smaller subnetworks (i.e., winning tickets) that achieve comparable performance to the dense networks. Our studies on LTH reveal that the winning tickets consistently exist in deep SNNs across various datasets and architectures, providing up to 97% sparsity without huge performance degradation. However, the iterative searching process of LTH brings a huge training computational cost when combined with the multiple timesteps of SNNs. To alleviate such heavy searching cost, we propose Early-Time (ET) ticket where we find the important weight connectivity from a smaller number of timesteps. The proposed ET ticket can be seamlessly combined with common pruning techniques for finding winning tickets, such as Iterative Magnitude Pruning (IMP) and Early-Bird (EB) tickets. Our experiment results show that the proposed ET ticket reduces search time by up to 38% compared to IMP or EB methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL