STAA-SNN: Spatial-Temporal Attention Aggregator for Spiking Neural Networks

要約

スパイクニューラルネットワーク（SNN）は、生物学的妥当性とエネルギー効率のために大きな注目を集めており、人工ニューラルネットワーク（ANN）の有望な代替品になっています。
ただし、SNNとANNSのパフォーマンスギャップは、SNNの広範な採用を妨げる大きな課題のままです。
この論文では、空間的な注意アグリゲーターSNN（STAA-SNN）フレームワークを提案します。これは、空間的依存性と時間的依存関係の両方に動的に焦点を当ててキャプチャします。
まず、SNN専用に設計されたスパイク駆動型の自己触媒メカニズムを紹介します。
さらに、潜在的な時間的関係を着信機能に統合するためのポジションエンコードを先駆的に組み込みます。
空間的情報集約については、ステップに注意を払って、さまざまなステップで関連する機能を選択的に増幅します。
最後に、ローカルオプティマを回避するためのタイムステップのランダムドロップアウト戦略を実装します。
その結果、STAA-SNNは空間的および時間的依存関係の両方を効果的にキャプチャし、モデルが複雑なパターンを分析し、正確な予測を行うことができます。
このフレームワークは、多様なデータセット全体で並外れたパフォーマンスを実証し、強力な一般化機能を示しています。
特に、STAA-SNNは、神経形態のデータセットCIFAR10-DVで最新の結果を達成し、静的データセットCIFAR-10、CIFAR-100、およびイメージェットで97.14％、82.05％、70.40％の顕著なパフォーマンスを実現します。
さらに、私たちのモデルは、0.33 \％から2.80 \％の範囲のパフォーマンスの改善を示し、時間ステップが少なくなります。
モデルのコードはGitHubで入手できます。

要約(オリジナル)

Spiking Neural Networks (SNNs) have gained significant attention due to their biological plausibility and energy efficiency, making them promising alternatives to Artificial Neural Networks (ANNs). However, the performance gap between SNNs and ANNs remains a substantial challenge hindering the widespread adoption of SNNs. In this paper, we propose a Spatial-Temporal Attention Aggregator SNN (STAA-SNN) framework, which dynamically focuses on and captures both spatial and temporal dependencies. First, we introduce a spike-driven self-attention mechanism specifically designed for SNNs. Additionally, we pioneeringly incorporate position encoding to integrate latent temporal relationships into the incoming features. For spatial-temporal information aggregation, we employ step attention to selectively amplify relevant features at different steps. Finally, we implement a time-step random dropout strategy to avoid local optima. As a result, STAA-SNN effectively captures both spatial and temporal dependencies, enabling the model to analyze complex patterns and make accurate predictions. The framework demonstrates exceptional performance across diverse datasets and exhibits strong generalization capabilities. Notably, STAA-SNN achieves state-of-the-art results on neuromorphic datasets CIFAR10-DVS, with remarkable performances of 97.14%, 82.05% and 70.40% on the static datasets CIFAR-10, CIFAR-100 and ImageNet, respectively. Furthermore, our model exhibits improved performance ranging from 0.33\% to 2.80\% with fewer time steps. The code for the model is available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google