Hoyer regularizer is all you need for ultra low-latency spiking neural networks

要約

スパイキング ニューラル ネットワーク (SNN) は、幅広い低消費電力ビジョン タスク向けの魅力的な時空間コンピューティング パラダイムとして浮上しています。
ただし、最先端の (SOTA) SNN モデルでは、複数の時間ステップが発生するため、リアルタイムのユースケースでの展開が妨げられたり、トレーニングの複雑さが大幅に増加したりします。
この懸念を軽減するために、最近提案された Hoyer 正則化器の新しいバリアントを使用するワンタイム ステップ SNN のトレーニング フレームワークを (ゼロから) 提示します。
各 SNN レイヤーのしきい値を、その活性化マップのクリップされたバージョンの Hoyer 極値として推定します。ここで、クリッピングしきい値は、Hoyer 正則化器で勾配降下法を使用してトレーニングされます。
このアプローチは、トレーニング可能なしきい値の値を縮小するだけでなく、それによって限られた回数の反復で重み更新のために多数のスパイクを放出するだけでなく (時間ステップが 1 つだけであるため)、膜電位値をしきい値から遠ざけることによって軽減します。
SNN の精度を低下させるノイズの影響。
私たちのアプローチは、複雑な画像認識タスクの精度と FLOP のトレードオフの点で、既存のスパイキング、バイナリ、および加算ニューラル ネットワークよりも優れています。
物体検出に関するダウンストリーム実験も、私たちのアプローチの有効性を示しています。

要約(オリジナル)

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google