Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks

要約

イベントベースの機械学習は、将来の神経形態ハードウェアに対してよりエネルギー効率の高いAIを約束します。
ここでは、スパイクニューラルネットワークの正確な勾配の勾配降下の最近発見されたEventPropアルゴリズムが、挑戦的なキーワード認識ベンチマークまでどのように拡大できるかを調査します。
GPU強化ニューラルネットワークフレームワークにEventPropを実装し、Spiking Heidelberg DigitsとSpiking Speechコマンドデータセットでのニューラルネットワークを再発するトレーニングに使用しました。
学習は、損失関数に強く依存し、イベントプロップをより広いクラスの損失関数に拡張して、効果的なトレーニングを可能にすることがわかりました。
次に、さまざまなネットワーク構造を調査するだけでなく、多数のデータ増強と正規化をテストしました。
不均一で訓練可能なタイムスケール。
2つの特定の増強、適切な正規化、および遅延ライン入力と組み合わせると、1つの再発層を持つEventPropネットワークが、スパイクハイデルベルクの数字で最先端のパフォーマンスを達成し、スパイキング音声コマンドの精度を達成することがわかりました。
主要な代理勾配ベースのSNNトレーニング方法と比較して、Genn EventPropの実装は3倍高速で、4倍少ないメモリを使用します。
この作業は、現在の機械学習パラダイムに代わる低電力神経形態の代替品に向けた重要なステップです。

要約(オリジナル)

Event-based machine learning promises more energy-efficient AI on future neuromorphic hardware. Here, we investigate how the recently discovered Eventprop algorithm for gradient descent on exact gradients in spiking neural networks can be scaled up to challenging keyword recognition benchmarks. We implemented Eventprop in the GPU-enhanced Neural Networks framework and used it for training recurrent spiking neural networks on the Spiking Heidelberg Digits and Spiking Speech Commands datasets. We found that learning depended strongly on the loss function and extended Eventprop to a wider class of loss functions to enable effective training. We then tested a large number of data augmentations and regularisations as well as exploring different network structures; and heterogeneous and trainable timescales. We found that when combined with two specific augmentations, the right regularisation and a delay line input, Eventprop networks with one recurrent layer achieved state-of-the-art performance on Spiking Heidelberg Digits and good accuracy on Spiking Speech Commands. In comparison to a leading surrogate-gradient-based SNN training method, our GeNN Eventprop implementation is 3X faster and uses 4X less memory. This work is a significant step towards a low-power neuromorphic alternative to current machine learning paradigms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google