A Spatial-channel-temporal-fused Attention for Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、脳の計算戦略を模倣し、時空間情報処理において実質的な能力を発揮します。
人間の知覚に不可欠な要因として、視覚的注意は、生物学的視覚システムにおける顕著な領域の動的な選択プロセスを指します。
視覚的注意のメカニズムはコンピューター ビジョンで大きな成功を収めていますが、SNN に導入されることはめったにありません。
予測的アテンション リマッピングに関する実験的観察に着想を得て、ここでは、歴史的に蓄積された空間チャネル情報を利用して、SNN が基になるターゲット領域を効率的にキャプチャするように導くことができる、新しい空間チャネル時間融合アテンション (SCTFA) モジュールを提案します。
3 つのイベント ストリーム データセット (DVS Gesture、SL-Animals-DVS、および MNIST-DVS) の体系的な評価を通じて、SCTFA モジュールを使用した SNN (SCTFA-SNN) がベースライン SNN (BL-SNN) を大幅に上回るだけではないことを示します。
および縮退した注意モジュールを備えた他の2つのSNNモデルだけでなく、既存の最先端の方法と競合する精度も達成しています。
さらに、詳細な分析により、提案された SCTFA-SNN モデルは、許容できる複雑さと効率を維持しながら、ノイズに対する強力な堅牢性と不完全なデータに対する優れた安定性を備えていることが示されています。
全体として、これらの調査結果は、脳の認知メカニズムを適切に組み込むことで、SNN の能力を高める有望なアプローチが提供される可能性があることを示しています。

要約(オリジナル)

Spiking neural networks (SNNs) mimic brain computational strategies, and exhibit substantial capabilities in spatiotemporal information processing. As an essential factor for human perception, visual attention refers to the dynamic selection process of salient regions in biological vision systems. Although mechanisms of visual attention have achieved great success in computer vision, they are rarely introduced into SNNs. Inspired by experimental observations on predictive attentional remapping, we here propose a new spatial-channel-temporal-fused attention (SCTFA) module that can guide SNNs to efficiently capture underlying target regions by utilizing historically accumulated spatial-channel information. Through a systematic evaluation on three event stream datasets (DVS Gesture, SL-Animals-DVS and MNIST-DVS), we demonstrate that the SNN with the SCTFA module (SCTFA-SNN) not only significantly outperforms the baseline SNN (BL-SNN) and other two SNN models with degenerated attention modules, but also achieves competitive accuracy with existing state-of-the-art methods. Additionally, our detailed analysis shows that the proposed SCTFA-SNN model has strong robustness to noise and outstanding stability to incomplete data, while maintaining acceptable complexity and efficiency. Overall, these findings indicate that appropriately incorporating cognitive mechanisms of the brain may provide a promising approach to elevate the capability of SNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google