STEM: Spatial-Temporal Mapping Tool For Spiking Neural Networks

要約

スパイクニューラルネットワーク（SNN）は、バイオ風に触発された第3世代のニューラルネットワークの有望です。
最近の研究では、人工ニューラルネットワーク（ANNS）と同等の精度で深いSNNモデルを訓練しています。
SNNのイベント駆動型でまばらな性質は、ANNよりもエネルギー効率の高い計算の可能性を示していますが、SNNニューロンには時間とともに進化する内部状態があります。
SNN状態を追跡することで、データの動きとストレージの要件が大幅に増加し、ANNに対する利点が失われる可能性があります。
このペーパーでは、ニューロン状態を持つことのエネルギー効果と、高度なメモリ階層を備えた現実的なハードウェアアーキテクチャへの選択されたマッピングの影響を受けていることを調査します。
したがって、SNNのマッピング設計スペース探索ツールであるSTEMSを開発します。
STEMSは、SNNのステートフルな動作をモデル化し、空間的および時間的SNNディメンションの両方を考慮して、データの動きを最小限に抑えるために、層内および層間マッピングの最適化を調査します。
STEMを使用して、2つのイベントベースのVision SNNベンチマークで、最大12倍のチップデータ移動の減少とエネルギーの5倍の減少（層内最適化の上）を示しています。
最後に、すべてのSNN層にニューロン状態は必要ないかもしれません。
ベンチマークの1つについてニューロン状態を最適化することにより、ニューロン状態の20倍の削減と、精度の損失なしでパフォーマンスが1.4倍であることが示されます。

要約(オリジナル)

Spiking Neural Networks (SNNs) are promising bio-inspired third-generation neural networks. Recent research has trained deep SNN models with accuracy on par with Artificial Neural Networks (ANNs). Although the event-driven and sparse nature of SNNs show potential for more energy efficient computation than ANNs, SNN neurons have internal states which evolve over time. Keeping track of SNN states can significantly increase data movement and storage requirements, potentially losing its advantages with respect to ANNs. This paper investigates the energy effects of having neuron states, and how it is influenced by the chosen mapping to realistic hardware architectures with advanced memory hierarchies. Therefore, we develop STEMS, a mapping design space exploration tool for SNNs. STEMS models SNN’s stateful behavior and explores intra-layer and inter-layer mapping optimizations to minimize data movement, considering both spatial and temporal SNN dimensions. Using STEMS, we show up to 12x reduction in off-chip data movement and 5x reduction in energy (on top of intra-layer optimizations), on two event-based vision SNN benchmarks. Finally, neuron states may not be needed for all SNN layers. By optimizing neuron states for one of our benchmarks, we show 20x reduction in neuron states and 1.4x better performance without accuracy loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google