Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors

要約

構成可能なシナプス遅延は、多くのニューロモーフィック ニューラル ネットワーク ハードウェア アクセラレータの基本機能です。
ただし、複雑な (時間的) ダイナミクスを示すタスクのパフォーマンスと効率に期待できる効果があるにもかかわらず、それらを最適化する方法が不明瞭であるため、モデルの実装ではほとんど使用されていません。
この研究では、デジタル ニューロモーフィック ハードウェアで、シナプスの重みとは別に、シナプスごとの遅延も共同最適化される高性能スパイキング ニューラル ネットワーク モデル (SNN) をトレーニングして展開するためのフレームワークを提案します。
トレーニングでは、スパイクベースの時間逆伝播を利用して、ネットワーク サイズの関数として、シナプスの重み精度やコアあたりのパラメーターの総数などのプラットフォームの制約の両方を考慮します。
さらに、遅延プルーニング技術を使用して、パフォーマンスを低コストでメモリのフットプリントを削減します。
私たちは、Intel Loihi と Imec Seneca という 2 つのニューロモーフィック デジタル ハードウェア プラットフォームでトレーニングされたモデルを評価します。
Loihi は、いわゆるリングバッファー ハードウェア構造を使用してシナプス遅延のサポートを提供します。
Seneca は、シナプス遅延に対するネイティブ ハードウェア サポートを提供しません。
したがって、この論文の 2 番目の貢献は、シナプス遅延を加速するための面積効率とメモリ効率の高い新しいハードウェア構造であり、これを Seneca に統合しました。
評価されたベンチマークには、SHD (Spiking Heidelberg Digits) 分類タスクを解決するためのいくつかのモデルが含まれており、ソフトウェアからハードウェアへの移行中の精度の低下が最小限であることが実証されています。
私たちの知る限り、これは、マルチコア ニューロモーフィック ハードウェア アクセラレータ上で、シナプス遅延でパラメータ化されたハードウェア認識モデルをトレーニングおよび展開する方法を示した最初の研究です。

要約(オリジナル)

Configurable synaptic delays are a basic feature in many neuromorphic neural network hardware accelerators. However, they have been rarely used in model implementations, despite their promising impact on performance and efficiency in tasks that exhibit complex (temporal) dynamics, as it has been unclear how to optimize them. In this work, we propose a framework to train and deploy, in digital neuromorphic hardware, highly performing spiking neural network models (SNNs) where apart from the synaptic weights, the per-synapse delays are also co-optimized. Leveraging spike-based back-propagation-through-time, the training accounts for both platform constraints, such as synaptic weight precision and the total number of parameters per core, as a function of the network size. In addition, a delay pruning technique is used to reduce memory footprint with a low cost in performance. We evaluate trained models in two neuromorphic digital hardware platforms: Intel Loihi and Imec Seneca. Loihi offers synaptic delay support using the so-called Ring-Buffer hardware structure. Seneca does not provide native hardware support for synaptic delays. A second contribution of this paper is therefore a novel area- and memory-efficient hardware structure for acceleration of synaptic delays, which we have integrated in Seneca. The evaluated benchmark involves several models for solving the SHD (Spiking Heidelberg Digits) classification task, where minimal accuracy degradation during the transition from software to hardware is demonstrated. To our knowledge, this is the first work showcasing how to train and deploy hardware-aware models parameterized with synaptic delays, on multicore neuromorphic hardware accelerators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google