Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes

要約

スパイキング ニューラル ネットワーク (SNN) は、低消費電力と一時的な情報処理という特徴から大きな注目を集めています。
ANN-SNN 変換は、SNN を適用するための最も一般的に使用されるトレーニング方法として、変換された SNN が大規模なデータセットで ANN に匹敵するパフォーマンスを達成することを保証できます。
ただし、少量の時間ステップではパフォーマンスが大幅に低下するため、ニューロモーフィック チップへの SNN の実用的な適用が妨げられます。
このホワイト ペーパーでは、さまざまな変換エラーを評価してからこれらのエラーを排除する代わりに、オフセット スパイクを定義して、実際の SNN 発火率と目的の SNN 発火率の偏差の程度を測定します。
オフセット スパイクの詳細な分析を実行し、1 つの追加 (または 1 つ少ない) スパイクの起動が変換エラーの主な原因であることに注意してください。
これに基づいて、初期膜電位のシフトに基づく最適化戦略を提案し、スパイクを調整するための対応する最適なシフト距離を理論的に証明します。
さらに、私たちのメソッドには、変換エラーをさらに減らすことができる独自の反復プロパティがあることにも注意してください。
実験結果は、提案された方法が CIFAR-10、CIFAR-100、および ImageNet データセットで最先端のパフォーマンスを達成することを示しています。
たとえば、6 つのタイム ステップを使用すると、ImageNet で 67.12% のトップ 1 精度に達します。
私たちの知る限りでは、ANN-SNN 変換が複雑なデータセットで高精度と超低遅延を同時に達成することが示されたのはこれが初めてです。
コードは https://github.com/hzc1208/ANN2SNN_COS で入手できます。

要約(オリジナル)

Spiking Neural Networks (SNNs) have attracted great attention due to their distinctive characteristics of low power consumption and temporal information processing. ANN-SNN conversion, as the most commonly used training method for applying SNNs, can ensure that converted SNNs achieve comparable performance to ANNs on large-scale datasets. However, the performance degrades severely under low quantities of time-steps, which hampers the practical applications of SNNs to neuromorphic chips. In this paper, instead of evaluating different conversion errors and then eliminating these errors, we define an offset spike to measure the degree of deviation between actual and desired SNN firing rates. We perform a detailed analysis of offset spike and note that the firing of one additional (or one less) spike is the main cause of conversion errors. Based on this, we propose an optimization strategy based on shifting the initial membrane potential and we theoretically prove the corresponding optimal shifting distance for calibrating the spike. In addition, we also note that our method has a unique iterative property that enables further reduction of conversion errors. The experimental results show that our proposed method achieves state-of-the-art performance on CIFAR-10, CIFAR-100, and ImageNet datasets. For example, we reach a top-1 accuracy of 67.12% on ImageNet when using 6 time-steps. To the best of our knowledge, this is the first time an ANN-SNN conversion has been shown to simultaneously achieve high accuracy and ultralow latency on complex datasets. Code is available at https://github.com/hzc1208/ANN2SNN_COS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google