Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network

要約

タイトル: Spikingformer：トランスフォーマーをベースとしたスパイキングニューラルネットワークのスパイク駆動残差学習
要約:
– Spikingニューラルネットワーク（SNN）は、イベント駆動スパイキング演算のため、人工ニューラルネットワークに対して、エネルギー効率に優れた代替手段を提供する。
– しかしながら、SpikformerやSEW ResNetを含む現代のDeep SNNsは、リジッドコネクション構造に起因する、非スパイク計算（整数-浮動小数点乗算）に功率を消費し、この性質によって、一般的なニューロモーフィックハードウェアに展開するには適していない。
– 本論文では、SNNsのためのハードウェアフレンドリーなスパイク駆動残差学習アーキテクチャが提案され、これを基にSpikingformerという純粋なトランスフォーマーをベースとしたスパイキングニューラルネットワークが開発されている。
– 私たちは、ImageNet、CIFAR10、CIFAR100、CIFAR10-DVS、DVS128 GestureデータセットでSpikingformerを評価し、純粋なSNNsとして直接学習した状態のステートオブジセットを上回る（ImageNetで74.79％のトップ1の精度、Spikformerと比較して1.41％の差）。
– さらに、私たちの実験では、Spikingformerが非スパイク計算を効果的に回避し、ImageNetでSpikformerと比較してエネルギー消費を60.34％削減できることが確認された。
– 私たちの知る限り、これが純粋なイベント駆動のトランスフォーマーをベースとしたSNNが開発された初めての例である。

要約(オリジナル)

Spiking neural networks (SNNs) offer a promising energy-efficient alternative to artificial neural networks, due to their event-driven spiking computation. However, state-of-the-art deep SNNs (including Spikformer and SEW ResNet) suffer from non-spike computations (integer-float multiplications) caused by the structure of their residual connection. These non-spike computations increase SNNs’ power consumption and make them unsuitable for deployment on mainstream neuromorphic hardware, which only supports spike operations. In this paper, we propose a hardware-friendly spike-driven residual learning architecture for SNNs to avoid non-spike computations. Based on this residual design, we develop Spikingformer, a pure transformer-based spiking neural network. We evaluate Spikingformer on ImageNet, CIFAR10, CIFAR100, CIFAR10-DVS and DVS128 Gesture datasets, and demonstrated that Spikingformer outperforms the state-of-the-art in directly trained pure SNNs as a novel advanced backbone (74.79$\%$ top-1 accuracy on ImageNet, + 1.41$\%$ compared with Spikformer). Furthermore, our experiments verify that Spikingformer effectively avoids non-spike computations and reduces energy consumption by 60.34$\%$ compared with Spikformer on ImageNet. To our best knowledge, this is the first time that a pure event-driven transformer-based SNN has been developed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI