Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、ニューロモーフィック コンピューティング用のエネルギー効率の高いモデルとして期待されています。
非微分可能 SNN モデルのトレーニングでは、サロゲート勾配 (SG) 法を使用した時間逆伝播 (BPTT) 法が高いパフォーマンスを達成しました。
ただし、この方法では、トレーニング中にかなりのメモリ コストとトレーニング時間がかかります。
本稿では、BPTTと比較して学習効率を大幅に向上させながら高いパフォーマンスを実現できるSpatial Learning Through Time（SLTT）手法を提案します。
まず、時間領域を介した SNN の逆伝播が、最終的に計算された勾配にほんの少しだけ寄与することを示します。
したがって、バックプロパゲーション中に計算グラフ内の重要でないルートを無視することを提案します。
提案された方法は、スカラー乗算の数を削減し、合計時間ステップに依存しない小さなメモリ占有を実現します。
さらに、SLTT-K と呼ばれる SLTT の変形を提案します。これは、K タイム ステップでのみバックプロパゲーションを可能にし、必要なスカラー乗算の数がさらに削減され、総タイム ステップに依存しません。
静的データセットとニューロモーフィック データセットの両方での実験により、SLTT の優れたトレーニング効率とパフォーマンスが実証されました。
特に、私たちの方法は ImageNet 上で最先端の精度を達成すると同時に、BPTT と比較してメモリ コストとトレーニング時間はそれぞれ 70% 以上と 50% 以上削減されます。

要約(オリジナル)

Spiking Neural Networks (SNNs) are promising energy-efficient models for neuromorphic computing. For training the non-differentiable SNN models, the backpropagation through time (BPTT) with surrogate gradients (SG) method has achieved high performance. However, this method suffers from considerable memory cost and training time during training. In this paper, we propose the Spatial Learning Through Time (SLTT) method that can achieve high performance while greatly improving training efficiency compared with BPTT. First, we show that the backpropagation of SNNs through the temporal domain contributes just a little to the final calculated gradients. Thus, we propose to ignore the unimportant routes in the computational graph during backpropagation. The proposed method reduces the number of scalar multiplications and achieves a small memory occupation that is independent of the total time steps. Furthermore, we propose a variant of SLTT, called SLTT-K, that allows backpropagation only at K time steps, then the required number of scalar multiplications is further reduced and is independent of the total time steps. Experiments on both static and neuromorphic datasets demonstrate superior training efficiency and performance of our SLTT. In particular, our method achieves state-of-the-art accuracy on ImageNet, while the memory cost and training time are reduced by more than 70% and 50%, respectively, compared with BPTT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google