Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization

要約

非同期離散イベントで動作するスパイキング ニューラル ネットワーク (SNN) は、スパースな計算でより高いエネルギー効率を示します。
ディープ SNN を実装する一般的なアプローチは、ANN の効率的なトレーニングと SNN の効率的な推論の両方を組み合わせた ANN-SNN 変換です。
ただし、精度の損失は通常、特に数タイム ステップの下では無視できず、遅延に敏感なエッジ デバイスでの SNN の適用が大幅に制限されます。
この論文では、このような性能低下が SNN における負またはオーバーフロー残留膜電位の誤った表示に起因することを最初に特定しました。
これにヒントを得て、変換誤差を量子化誤差、クリッピング誤差、残留膜電位表現誤差の 3 つの部分に分解します。
このような洞察をもとに、これらの誤差をそれぞれ最小限に抑えるための 2 段階の変換アルゴリズムを提案します。
さらに、各ステージが相補的な方法で大幅なパフォーマンス向上を達成していることを示します。
CIFAR-10、CIFAR-100、ImageNet などの困難なデータセットを評価することにより、提案された方法は、精度、遅延、エネルギー保存の点で最先端のパフォーマンスを実証します。
さらに、私たちの方法は、より困難な物体検出タスクを使用して評価され、既存のスパイクベースの検出アルゴリズムと比較した場合、超低遅延下で回帰パフォーマンスが顕著に向上していることが明らかになりました。
コードは https://github.com/Windere/snn-cvt-dual-phase で入手できます。

要約(オリジナル)

Spiking neural networks (SNNs) operating with asynchronous discrete events show higher energy efficiency with sparse computation. A popular approach for implementing deep SNNs is ANN-SNN conversion combining both efficient training of ANNs and efficient inference of SNNs. However, the accuracy loss is usually non-negligible, especially under a few time steps, which restricts the applications of SNN on latency-sensitive edge devices greatly. In this paper, we first identify that such performance degradation stems from the misrepresentation of the negative or overflow residual membrane potential in SNNs. Inspired by this, we decompose the conversion error into three parts: quantization error, clipping error, and residual membrane potential representation error. With such insights, we propose a two-stage conversion algorithm to minimize those errors respectively. Besides, We show each stage achieves significant performance gains in a complementary manner. By evaluating on challenging datasets including CIFAR-10, CIFAR- 100 and ImageNet, the proposed method demonstrates the state-of-the-art performance in terms of accuracy, latency and energy preservation. Furthermore, our method is evaluated using a more challenging object detection task, revealing notable gains in regression performance under ultra-low latency when compared to existing spike-based detection algorithms. Codes are available at https://github.com/Windere/snn-cvt-dual-phase.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google