On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) への関心は着実に高まっており、一般に人工ニューラル ネットワーク (ANN) として知られる形式ニューラル ネットワーク (FNN) に代わるエネルギー効率の高い代替手段として期待されています。
特にエッジ アプリケーションに対する関心が高まっているにもかかわらず、これらのイベント駆動型ニューラル ネットワークは、FNN と比較してトレーニングが難しいという問題がありました。
この問題を軽減するために、FNN とほぼ同等のパフォーマンスを提供する多くの革新的な方法が開発されました。
ただし、推論中のネットワークのスパイク アクティビティは通常考慮されません。
SNN は通常、FNN と同等のパフォーマンスを備えていますが、多くの場合、ネットワークのアクティビティの増加を犠牲にしており、よりエネルギー効率の高いソリューションとして SNN を使用するメリットは限られています。
この論文では、パフォーマンスとスパイクアクティビティの間のトレードオフを最適化するために、サロゲート勾配降下法を使用した SNN トレーニングに知識蒸留 (KD) を活用することを提案します。
次に、KD がスパース性の増加につながる理由を理解した後、アクティベーション正則化についても調査し、ロジッツ正則化を使用した新しい方法を提案しました。
いくつかのデータセットで検証されたこれらのアプローチは、精度を維持しながらネットワーク スパイキング アクティビティが減少することを明確に示しています (GSC では -26.73%、CIFAR-10 では -14.32%)。

要約(オリジナル)

Interest in spiking neural networks (SNNs) has been growing steadily, promising an energy-efficient alternative to formal neural networks (FNNs), commonly known as artificial neural networks (ANNs). Despite increasing interest, especially for Edge applications, these event-driven neural networks suffered from their difficulty to be trained compared to FNNs. To alleviate this problem, a number of innovative methods have been developed to provide performance more or less equivalent to that of FNNs. However, the spiking activity of a network during inference is usually not considered. While SNNs may usually have performance comparable to that of FNNs, it is often at the cost of an increase of the network’s activity, thus limiting the benefit of using them as a more energy-efficient solution. In this paper, we propose to leverage Knowledge Distillation (KD) for SNNs training with surrogate gradient descent in order to optimize the trade-off between performance and spiking activity. Then, after understanding why KD led to an increase in sparsity, we also explored Activations regularization and proposed a novel method with Logits Regularization. These approaches, validated on several datasets, clearly show a reduction in network spiking activity (-26.73% on GSC and -14.32% on CIFAR-10) while preserving accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google