Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation

要約

タイトル： 知識蒸留による人工ニューラルネットワークから深層スパイキングニューラルネットワークの構築

要約：

– スパイキングニューラルネットワーク（SNN）は、生物学的ニューロンシステムに近い情報の単位としてスパイクを使用することで高い計算効率を持つ脳に触発されたモデルとして知られている。
– 典型的なSNNは離散信号であるため、人工ニューラルネットワーク（ANN）のように勾配降下法のルールを直接パラメータ調整に適用することはできず、その性能は現在のネットワーク構造とトレーニング方法に制限されている。
– この制限に対応するため、教師モデルとしてANNを使用し、生徒モデルとしてSNNを使用して知識蒸留（KD）を用いた深いSNNモデルの構築法を提案する。
– ANN-SNNジョイントトレーニングアルゴリズムにより、生徒SNNモデルはKD方法を介して教師ANNモデルから豊富な特徴情報を学習できるため、非微分性スパイクと通信する際にSNNをゼロからトレーニングすることを回避できる。
– このメソッドは、高スループットでより効率的な深いスパイク構造を実現できるだけでなく、直接トレーニングやANNからSNNの方法と比較して全モデルをトレーニングするのにわずかな時間ステップしか必要とせず、様々な種類の人工的なノイズと自然信号の優れたノイズ耐性を持つ。
– 提案された新しい方法は、実用的なシナリオの軽量かつ効率的な脳に触発されたコンピューティングに向けた、SNNのパフォーマンスを向上させるための効率的な手段を提供する。

要約(オリジナル)

Spiking neural networks (SNNs) are well known as the brain-inspired models with high computing efficiency, due to a key component that they utilize spikes as information units, close to the biological neural systems. Although spiking based models are energy efficient by taking advantage of discrete spike signals, their performance is limited by current network structures and their training methods. As discrete signals, typical SNNs cannot apply the gradient descent rules directly into parameters adjustment as artificial neural networks (ANNs). Aiming at this limitation, here we propose a novel method of constructing deep SNN models with knowledge distillation (KD) that uses ANN as teacher model and SNN as student model. Through ANN-SNN joint training algorithm, the student SNN model can learn rich feature information from the teacher ANN model through the KD method, yet it avoids training SNN from scratch when communicating with non-differentiable spikes. Our method can not only build a more efficient deep spiking structure feasibly and reasonably, but use few time steps to train whole model compared to direct training or ANN to SNN methods. More importantly, it has a superb ability of noise immunity for various types of artificial noises and natural signals. The proposed novel method provides efficient ways to improve the performance of SNN through constructing deeper structures in a high-throughput fashion, with potential usage for light and efficient brain-inspired computing of practical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI