S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は生物学的に妥当なモデルであり、エネルギー効率の高いインテリジェンスをエッジに展開するのに、特に逐次学習タスクに適している可能性があることが確認されています。
ただし、SNN のトレーニングには、正確な時間的および空間的な単位の割り当てが必要なため、大きな課題が生じます。
時間逆伝播 (BPTT) アルゴリズムは、これらの問題に対処するために最も広く使用されている方法ですが、時間依存性があるため、高い計算コストがかかります。
この研究では、イベントベースの学習タスクでディープ SNN をトレーニングすることを目的とした、スパイク タイミング依存可塑性 (STDP) メカニズムにヒントを得た新しい 3 要素時間ローカル学習ルールである S-TLLR を提案します。
さらに、S-TLLR はタイム ステップ数に依存しないメモリと時間の複雑さが低くなるように設計されており、低電力エッジ デバイスでのオンライン学習に適しています。
提案手法のスケーラビリティを実証するために、画像およびジェスチャ認識、音声分類、オプティカル フロー推定など、幅広いアプリケーションにわたるイベントベースのデータセットに対して広範な評価を実施しました。
すべての実験において、S-TLLR は BPTT に匹敵する高精度を達成し、メモリ量は $5 ～ 50\times$、積和演算 (MAC) 演算は $1.3 ～ 6.6\times$ 削減されました。

要約(オリジナル)

Spiking Neural Networks (SNNs) are biologically plausible models that have been identified as potentially apt for deploying energy-efficient intelligence at the edge, particularly for sequential learning tasks. However, training of SNNs poses significant challenges due to the necessity for precise temporal and spatial credit assignment. Back-propagation through time (BPTT) algorithm, whilst the most widely used method for addressing these issues, incurs high computational cost due to its temporal dependency. In this work, we propose S-TLLR, a novel three-factor temporal local learning rule inspired by the Spike-Timing Dependent Plasticity (STDP) mechanism, aimed at training deep SNNs on event-based learning tasks. Furthermore, S-TLLR is designed to have low memory and time complexities, which are independent of the number of time steps, rendering it suitable for online learning on low-power edge devices. To demonstrate the scalability of our proposed method, we have conducted extensive evaluations on event-based datasets spanning a wide range of applications, such as image and gesture recognition, audio classification, and optical flow estimation. In all the experiments, S-TLLR achieved high accuracy, comparable to BPTT, with a reduction in memory between $5-50\times$ and multiply-accumulate (MAC) operations between $1.3-6.6\times$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google