DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware

要約

スパイクニューラルネットワーク（SNN）は、情報を表現および処理するための信号のタイミングに本質的に依存しています。
シナプス重みとともに、トレーニング可能な伝送遅延を組み込むことは、これらの時間的ダイナミクスを形作るために重要です。
最近の方法では、精度とメモリ効率の点でトレーニングの遅延と重量の利点が示されていますが、それらは個別の時間、近似勾配、および膜電位などの内部変数への完全なアクセスに依存しています。
これにより、メモリ要件とI/O帯域幅の要求により、神経モルフィックハードウェアの精度、効率、および適合性が制限されます。
これらの課題に対処するために、シナプスの重みと遅延の両方の正確な損失勾配を計算する分析的なイベントベースの方法であるDelgragを提案します。
トレーニングプロセスに遅延を含めることは、提案された形式主義の中で自然に現れ、モデルの検索空間を時間的次元で豊かにします。
さらに、純粋にスパイクタイミングで接地されたデルグラードは、膜電位などの追加の変数を追跡する必要性を排除します。
この重要な利点を紹介するために、SNNをループ中のファッションでトレーニングすることにより、Brainscales-2 NeuromorphicプラットフォームでのDelgragの機能と利点を示します。
初めて、ノイズの多い混合シグナルハードウェアにSNNに遅延を追加することのメモリ効率と精度の利点を実験的に実証します。
さらに、これらの実験は、ノイズに対するネットワークを安定化するための遅延の可能性も明らかにしています。
Delgradは、神経モルフィックハードウェアの遅延でSNNをトレーニングするための新しい方法を開き、必要なパラメーターが少なくなり、より高い精度とハードウェアトレーニングが容易になります。

要約(オリジナル)

Spiking neural networks (SNNs) inherently rely on the timing of signals for representing and processing information. Incorporating trainable transmission delays, alongside synaptic weights, is crucial for shaping these temporal dynamics. While recent methods have shown the benefits of training delays and weights in terms of accuracy and memory efficiency, they rely on discrete time, approximate gradients, and full access to internal variables like membrane potentials. This limits their precision, efficiency, and suitability for neuromorphic hardware due to increased memory requirements and I/O bandwidth demands. To address these challenges, we propose DelGrad, an analytical, event-based method to compute exact loss gradients for both synaptic weights and delays. The inclusion of delays in the training process emerges naturally within our proposed formalism, enriching the model’s search space with a temporal dimension. Moreover, DelGrad, grounded purely in spike timing, eliminates the need to track additional variables such as membrane potentials. To showcase this key advantage, we demonstrate the functionality and benefits of DelGrad on the BrainScaleS-2 neuromorphic platform, by training SNNs in a chip-in-the-loop fashion. For the first time, we experimentally demonstrate the memory efficiency and accuracy benefits of adding delays to SNNs on noisy mixed-signal hardware. Additionally, these experiments also reveal the potential of delays for stabilizing networks against noise. DelGrad opens a new way for training SNNs with delays on neuromorphic hardware, which results in fewer required parameters, higher accuracy and ease of hardware training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google