Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

要約

タイトル：スパイク表現上の微分による高性能低レイテンシースパイクニューラルネットワークのトレーニング

要約：

– 脳神経をモデル化したSNNは、ニューロモーフィックハードウェア上で実装すると、エネルギー効率に優れたAIモデルとして有望である。
– しかし、SNNのトレーニングは非微分性による課題があり、従来の多くの方法は高遅延（長時間のシミュレーションタイムステップ）を引き起こすか、ANNと同等の高性能を発揮できない。
– 提案されたDSR方法は、SNNにおいて低遅延でありながらANNと同等の高性能を達成することができる方法です。著者らは、まず、重み付け発火率符号化を使ってスパイクトレインをスパイク表現にエンコードします。続いて、共通のニューラルモデルに対する尖ったダイナミクスは、いくつかのサブ微分可能なマッピングとして表現できることを示します。そして、DSR方法は、このマッピングの勾配に基づいてSNNをトレーニングすることで、SNNトレーニングにおける一般的な非微分性の問題を回避します。
– さらに、著者らは、SNNのフォワード計算によって特定のマッピングを表現する場合のエラーを分析します。このエラーを減らすために、各層のスパイク閾値をトレーニングし、ニューラルモデルの新しいハイパーパラメータを導入することを提案します。
– これらのコンポーネントを使用することで、DSR方法は、CIFAR-10、CIFAR-100、ImageNet、およびDVS-CIFAR10などの静的およびニューロモーフィックデータセットに対して、低レイテンシで最先端のSNN性能を発揮することができます。

要約(オリジナル)

Spiking Neural Network (SNN) is a promising energy-efficient AI model when implemented on neuromorphic hardware. However, it is a challenge to efficiently train SNNs due to their non-differentiability. Most existing methods either suffer from high latency (i.e., long simulation time steps), or cannot achieve as high performance as Artificial Neural Networks (ANNs). In this paper, we propose the Differentiation on Spike Representation (DSR) method, which could achieve high performance that is competitive to ANNs yet with low latency. First, we encode the spike trains into spike representation using (weighted) firing rate coding. Based on the spike representation, we systematically derive that the spiking dynamics with common neural models can be represented as some sub-differentiable mapping. With this viewpoint, our proposed DSR method trains SNNs through gradients of the mapping and avoids the common non-differentiability problem in SNN training. Then we analyze the error when representing the specific mapping with the forward computation of the SNN. To reduce such error, we propose to train the spike threshold in each layer, and to introduce a new hyperparameter for the neural models. With these components, the DSR method can achieve state-of-the-art SNN performance with low latency on both static and neuromorphic datasets, including CIFAR-10, CIFAR-100, ImageNet, and DVS-CIFAR10.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI