Spike Accumulation Forwarding for Effective Training of Spiking Neural Networks

要約

この記事では、スパイク ニューラル ネットワーク (SNN)、スパイク蓄積転送 (SAF) をトレーニングするための新しいパラダイムを提案します。
SNN はエネルギー効率が高いものの、トレーニングが難しいことが知られています。
そこで、この問題を解決するために多くの研究者がさまざまな手法を提案しており、その中でもメモリコストを抑えながら各タイムステップでの推論を可能にする手法として、OTTT（Online Training Through Time）が挙げられます。
ただし、GPU で効率的に計算するには、OTTT では、転送中にスパイク トレインとスパイク トレインの加重合計を使用した操作が必要です。
さらに、OTTT は、代替トレーニング方法であるスパイク表現との関係を示していますが、スパイク表現との理論的な一致はまだ証明されていません。
私たちが提案する手法はこれらの問題を解決できます。
すなわち、SAF は転送プロセス中の演算数を半減することができ、SAF が Spike Representation および OTTT とそれぞれ矛盾しないことを理論的に証明できます。
さらに、上記内容を実験により確認し、精度を維持したまま記憶時間と学習時間を削減できることを示しました。

要約(オリジナル)

In this article, we propose a new paradigm for training spiking neural networks (SNNs), spike accumulation forwarding (SAF). It is known that SNNs are energy-efficient but difficult to train. Consequently, many researchers have proposed various methods to solve this problem, among which online training through time (OTTT) is a method that allows inferring at each time step while suppressing the memory cost. However, to compute efficiently on GPUs, OTTT requires operations with spike trains and weighted summation of spike trains during forwarding. In addition, OTTT has shown a relationship with the Spike Representation, an alternative training method, though theoretical agreement with Spike Representation has yet to be proven. Our proposed method can solve these problems; namely, SAF can halve the number of operations during the forward process, and it can be theoretically proven that SAF is consistent with the Spike Representation and OTTT, respectively. Furthermore, we confirmed the above contents through experiments and showed that it is possible to reduce memory and training time while maintaining accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google