TS-SNN: Temporal Shift Module for Spiking Neural Networks

要約

スパイクニューラルネットワーク（SNN）は、生物学的妥当性とエネルギー効率についてますます認識されており、神経型コンピューティングアプリケーションの人工ニューラルネットワーク（ANN）の強力な代替品として配置します。
SNNは、スパイクの正確なタイミングを活用することにより本質的に一時的な情報を処理しますが、時間的特徴の利用と低エネルギー消費のバランスをとることは課題です。
この作業では、シンプルで効果的なシフト操作を介して過去、現在、および将来のスパイク機能を統合するための新しい時間的シフト（TS）モジュールを組み込んだニューラルネットワーク（TS-SNN）をスパイクするための時間シフトモジュールを導入します。
残留併用方法は、シフトされた機能と元の機能を統合することにより、情報の損失を防ぎます。
TSモジュールは軽量で、追加の学習可能なパラメーターを1つだけ必要とし、最小限の追加計算コストで既存のアーキテクチャにシームレスに統合できます。
TS-SNNは、低エネルギー消費を維持しながら、CIFAR-10（96.72 \％）、CIFAR-100（80.28 \％）、イメージネット（70.61 \％）などのベンチマークで最先端のパフォーマンスを達成します。
この作業は、効率的で正確なSNNアーキテクチャの開発における重要な前進を示しています。

要約(オリジナル)

Spiking Neural Networks (SNNs) are increasingly recognized for their biological plausibility and energy efficiency, positioning them as strong alternatives to Artificial Neural Networks (ANNs) in neuromorphic computing applications. SNNs inherently process temporal information by leveraging the precise timing of spikes, but balancing temporal feature utilization with low energy consumption remains a challenge. In this work, we introduce Temporal Shift module for Spiking Neural Networks (TS-SNN), which incorporates a novel Temporal Shift (TS) module to integrate past, present, and future spike features within a single timestep via a simple yet effective shift operation. A residual combination method prevents information loss by integrating shifted and original features. The TS module is lightweight, requiring only one additional learnable parameter, and can be seamlessly integrated into existing architectures with minimal additional computational cost. TS-SNN achieves state-of-the-art performance on benchmarks like CIFAR-10 (96.72\%), CIFAR-100 (80.28\%), and ImageNet (70.61\%) with fewer timesteps, while maintaining low energy consumption. This work marks a significant step forward in developing efficient and accurate SNN architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google