Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation

要約

タイトル：知識蒸留による人工ニューラルネットワークから深層スパイキングニューラルネットワークの構築

要約：
– スパイクニューラルネットワーク（SNN）は、生物学的ニューロンシステムに近いスパイクを情報単位として利用することで高い計算効率をもった脳をモデル化したものである。
– しかし、スパイク信号は離散的なため、パラメータ調整に人工ニューラルネットワーク（ANN）のように勾配降下法を直接適用することができず、SNNの性能に限界がある。
– 本研究では、ANNを教師モデル、SNNを学習モデルとする知識蒸留（KD）法を用いて、SNNの性能向上を図る新しい方法を提案する。
– この手法により、SNNモデルはKD法を通じて教師ANNモデルから豊富な特徴情報を学ぶことができ、スクラッチから学習する必要がなくなる。
– この手法は、直接学習やANNからSNNへの手法と比較して全モデルのトレーニングに少ない時間を要するだけでなく、人工ノイズや自然信号の種類に対して優れたノイズ抵抗性を持つ。
– この新しい手法は、より効率的な深層スパイキング構造を構築することでSNNの性能向上を可能にし、軽量で効率的な脳をモデル化した計算を現実的なシナリオで可能にする潜在的な有用性を持っている。

要約(オリジナル)

Spiking neural networks (SNNs) are well known as the brain-inspired models with high computing efficiency, due to a key component that they utilize spikes as information units, close to the biological neural systems. Although spiking based models are energy efficient by taking advantage of discrete spike signals, their performance is limited by current network structures and their training methods. As discrete signals, typical SNNs cannot apply the gradient descent rules directly into parameters adjustment as artificial neural networks (ANNs). Aiming at this limitation, here we propose a novel method of constructing deep SNN models with knowledge distillation (KD) that uses ANN as teacher model and SNN as student model. Through ANN-SNN joint training algorithm, the student SNN model can learn rich feature information from the teacher ANN model through the KD method, yet it avoids training SNN from scratch when communicating with non-differentiable spikes. Our method can not only build a more efficient deep spiking structure feasibly and reasonably, but use few time steps to train whole model compared to direct training or ANN to SNN methods. More importantly, it has a superb ability of noise immunity for various types of artificial noises and natural signals. The proposed novel method provides efficient ways to improve the performance of SNN through constructing deeper structures in a high-throughput fashion, with potential usage for light and efficient brain-inspired computing of practical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI