Attention Spiking Neural Networks

要約

脳のイベント駆動型でまばらなスパイク特性の恩恵を受けるスパイク ニューラル ネットワーク (SNN) は、人工ニューラル ネットワーク (ANN) に代わるエネルギー効率の高い代替手段になりつつあります。
ただし、SNN と ANN の間のパフォーマンス ギャップは、長い間、SNN をユビキタスに展開する上で大きな障害となっていました。
SNN の可能性を最大限に活用するために、SNN における注意メカニズムの効果を研究します。
最初に、多次元注意 (MA) と呼ばれるプラグアンドプレイ キットを使用して注意のアイデアを提示します。
次に、「MA-SNN」と呼ばれるエンドツーエンドのトレーニングを備えた新しい注意 SNN アーキテクチャが提案されます。これは、時間、チャネル、および空間次元に沿って個別または同時に注意の重みを推測します。
既存の神経科学理論に基づいて、注意の重みを利用して膜電位を最適化し、データに依存する方法でスパイク応答を調整します。
ごくわずかな追加パラメーターを犠牲にして、MA はバニラ SNN を促進し、よりまばらなスパイク アクティビティ、より優れたパフォーマンス、およびエネルギー効率を同時に達成します。
実験は、イベントベースの DVS128 ジェスチャ/歩行アクション認識と ImageNet-1k 画像分類で行われます。
Gesture/Gait では、スパイク数が 84.9%/81.6% 減少し、タスクの精度とエネルギー効率が 5.9%/4.7% および 3.4$\times$/3.2$\times$ 改善されました。
ImageNet-1K では、シングル/4 ステップの Res-SNN-104 で 75.92% と 77.08% のトップ 1 精度を達成しました。これは、SNN の最先端の結果です。
私たちの知る限りでは、SNN コミュニティが、大規模なデータセットで対応する ANN と比較して、同等またはそれ以上のパフォーマンスを達成したのはこれが初めてです。
私たちの仕事は、SNN のさまざまなアプリケーションをサポートする一般的なバックボーンとしての SNN の可能性を明らかにし、有効性と効率性のバランスをとっています。

要約(オリジナル)

Benefiting from the event-driven and sparse spiking characteristics of the brain, spiking neural networks (SNNs) are becoming an energy-efficient alternative to artificial neural networks (ANNs). However, the performance gap between SNNs and ANNs has been a great hindrance to deploying SNNs ubiquitously for a long time. To leverage the full potential of SNNs, we study the effect of attention mechanisms in SNNs. We first present our idea of attention with a plug-and-play kit, termed the Multi-dimensional Attention (MA). Then, a new attention SNN architecture with end-to-end training called ‘MA-SNN’ is proposed, which infers attention weights along the temporal, channel, as well as spatial dimensions separately or simultaneously. Based on the existing neuroscience theories, we exploit the attention weights to optimize membrane potentials, which in turn regulate the spiking response in a data-dependent way. At the cost of negligible additional parameters, MA facilitates vanilla SNNs to achieve sparser spiking activity, better performance, and energy efficiency concurrently. Experiments are conducted in event-based DVS128 Gesture/Gait action recognition and ImageNet-1k image classification. On Gesture/Gait, the spike counts are reduced by 84.9%/81.6%, and the task accuracy and energy efficiency are improved by 5.9%/4.7% and 3.4$\times$/3.2$\times$. On ImageNet-1K, we achieve top-1 accuracy of 75.92% and 77.08% on single/4-step Res-SNN-104, which are state-of-the-art results in SNNs. To our best knowledge, this is for the first time, that the SNN community achieves comparable or even better performance compared with its ANN counterpart in the large-scale dataset. Our work lights up SNN’s potential as a general backbone to support various applications for SNNs, with a great balance between effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google