Towards High-performance Spiking Transformers from ANN to SNN Conversion

要約

スパイクニューラルネットワーク（SNN）は、エネルギー効率、高速処理能力、堅牢性のために大きな可能性を示します。
SNNを構築するには、2つの主要なアプローチがあります。
直接トレーニング方法には多くのメモリが必要ですが、変換方法はよりシンプルで効率的なオプションを提供します。
ただし、現在の変換方法は、主に畳み込みニューラルネットワーク（CNN）のSNNSに変換することに焦点を当てています。
変圧器をSNNに変換することは、非線形モジュールが存在するため困難です。
この論文では、変換の精度を維持するための期待補償モジュールを提案します。
コアのアイデアは、以前のTタイムステップからの情報を使用して、タイムステップTでの予想される出力を計算することです。また、マルチスレッチホールドニューロンと対応する並列パラメーター正規化も提案して、ネットワークレイテンシと消費電力を削減することを目指して、高精度に必要な大きな時間ステップの課題に対処します。
私たちの実験結果は、私たちのアプローチが最先端のパフォーマンスを達成することを示しています。
たとえば、トランスの元の出力の35％しか消費しない一方で、4つの時間ステップを使用して、精度が1 \％の損失のみで88.60 \％の上位1精度を達成します。
私たちの知る限り、これは、複雑なデータセットでの高精度、低レイテンシ、および低消費電力を達成するスパイクトランスのための最初の成功した人工ニューラルネットワーク（ANN）からSNN変換です。
提案された方法のソースコードは、https：//github.com/h-z-h-cell/transformer-to-snn-ecmtで入手できます。

要約(オリジナル)

Spiking neural networks (SNNs) show great potential due to their energy efficiency, fast processing capabilities, and robustness. There are two main approaches to constructing SNNs. Direct training methods require much memory, while conversion methods offer a simpler and more efficient option. However, current conversion methods mainly focus on converting convolutional neural networks (CNNs) to SNNs. Converting Transformers to SNN is challenging because of the presence of non-linear modules. In this paper, we propose an Expectation Compensation Module to preserve the accuracy of the conversion. The core idea is to use information from the previous T time-steps to calculate the expected output at time-step T. We also propose a Multi-Threshold Neuron and the corresponding Parallel Parameter normalization to address the challenge of large time steps needed for high accuracy, aiming to reduce network latency and power consumption. Our experimental results demonstrate that our approach achieves state-of-the-art performance. For example, we achieve a top-1 accuracy of 88.60\% with only a 1\% loss in accuracy using 4 time steps while consuming only 35\% of the original power of the Transformer. To our knowledge, this is the first successful Artificial Neural Network (ANN) to SNN conversion for Spiking Transformers that achieves high accuracy, low latency, and low power consumption on complex datasets. The source codes of the proposed method are available at https://github.com/h-z-h-cell/Transformer-to-SNN-ECMT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google