STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks

要約

モノの人工知能の普及には、時空間的にまばらなバイナリ スパイクに基づく脳からインスピレーションを得たスパイキング ニューラル ネットワーク (SNN) モデルを活用するニューロモーフィック エージェントなど、エネルギー効率の高いエッジ コンピューティング パラダイムが必要です。
ただし、効率的で高精度の深層 SNN 学習アルゴリズムが不足しているため、厳密に制限されたコストで実用的なエッジ展開を行うことができません。
この論文では、この課題に取り組むための時空間直交伝播 (STOP) アルゴリズムを提案します。
私たちのアルゴリズムは、統合された時間順トレースベースのフレームワークで、スパイキングニューロンのシナプス重み、発火閾値と漏れ係数の完全な相乗学習を可能にし、SNNの精度を向上させ、すべてのタイムステップにわたってニューラル状態を保存するための膨大なメモリ要件を軽減します。
フォワードパスで。
特徴として、空間的に後方のニューロン エラーと時間的に前方のトレースは互いに直交して独立して伝播し、計算の複雑さが大幅に軽減されます。
当社の STOP アルゴリズムは、VGG-11 または ResNet-18 の十分な深い畳み込み SNN を備えた CIFAR-10、CIFAR-100、DVS-Gesture、および DVS-CIFAR10 データセットで 94.84%、74.92%、98.26%、77.10% という高い認識精度を獲得しました。
構造物。
他のディープ SNN トレーニング アルゴリズムと比較して、私たちの方法は、リソースは限られているが、高精度のその場学習が必要なエッジ インテリジェント シナリオにとってより妥当です。

要約(オリジナル)

The prevailing of artificial intelligence-of-things calls for higher energy-efficient edge computing paradigms, such as neuromorphic agents leveraging brain-inspired spiking neural network (SNN) models based on spatiotemporally sparse binary spikes. However, the lack of efficient and high-accuracy deep SNN learning algorithms prevents them from practical edge deployments at a strictly bounded cost. In this paper, we propose the spatiotemporal orthogonal propagation (STOP) algorithm to tackle this challenge. Our algorithm enables fully synergistic learning of synaptic weights as well as firing thresholds and leakage factors in spiking neurons to improve SNN accuracy, in a unified temporally-forward trace-based framework to mitigate the huge memory requirement for storing neural states across all time-steps in the forward pass. Characteristically, the spatially-backward neuronal errors and temporally-forward traces propagate orthogonally to and independently of each other, substantially reducing computational complexity. Our STOP algorithm obtained high recognition accuracies of 94.84%, 74.92%, 98.26% and 77.10% on the CIFAR-10, CIFAR-100, DVS-Gesture and DVS-CIFAR10 datasets with adequate deep convolutional SNNs of VGG-11 or ResNet-18 structures. Compared with other deep SNN training algorithms, our method is more plausible for edge intelligent scenarios where resources are limited but high-accuracy in-situ learning is desired.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google