Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks

要約

スパイキングニューラルネットワーク（SNN）は、その時間的処理機能とニューロモルフィックハードウェアでのエネルギー効率の高い実装のおかげで、従来の人工ニューラルネットワーク（ANN）の興味深い代替手段になりました。
ただし、SNNのトレーニングに伴う課題により、精度、ひいてはアプリケーションの点でパフォーマンスが制限されています。
したがって、より正確な特徴抽出のために学習アルゴリズムとニューラルアーキテクチャを改善することは、SNN研究における現在の優先事項の1つです。
このホワイトペーパーでは、最新のスパイクアーキテクチャの主要コンポーネントに関する研究を紹介します。
成功した残余ネットワークアーキテクチャのスパイクバージョンを設計し、スパイク残余接続の可能な実装に関する詳細な調査を提供します。
この調査は、ユースケースに応じて、最適な残余接続の実装がどのように変化するかを示しています。
さらに、最高のパフォーマンスを発揮するネットワークから取得した画像分類データセットのさまざまな手法を経験的に比較します。
私たちの結果は、SNN設計の最先端のガイドを提供します。これにより、最適な視覚的特徴抽出器を構築しようとするときに、情報に基づいた選択を行うことができます。
最後に、私たちのネットワークは、CIFAR-10（94.14％）およびCIFAR-100（74.65％）データセットの以前のSNNアーキテクチャを上回り、DVS-CIFAR10（72.98％）の最新技術と一致し、以前の状態よりも少ないパラメーターを使用します。
アートであり、ANN-SNN変換の必要はありません。
https://github.com/VicenteAlex/Spiking_ResNetで入手可能なコード

要約(オリジナル)

Spiking neural networks (SNNs) have become an interesting alternative to conventional artificial neural networks (ANN) thanks to their temporal processing capabilities and energy efficient implementations in neuromorphic hardware. However the challenges involved in training SNNs have limited their performance in terms of accuracy and thus their applications. Improving learning algorithms and neural architectures for a more accurate feature extraction is therefore one of the current priorities in SNN research. In this paper we present a study on the key components of modern spiking architectures. We design a spiking version of the successful residual network architecture and provide an in-depth study on the possible implementations of spiking residual connections. This study shows how, depending on the use case, the optimal residual connection implementation may vary. Additionally, we empirically compare different techniques in image classification datasets taken from the best performing networks. Our results provide a state of the art guide to SNN design, which allows to make informed choices when trying to build the optimal visual feature extractor. Finally, our network outperforms previous SNN architectures in CIFAR-10 (94.14%) and CIFAR-100 (74.65%) datasets and matches the state of the art in DVS-CIFAR10 (72.98%), with less parameters than the previous state of the art and without the need for ANN-SNN conversion. Code available at https://github.com/VicenteAlex/Spiking_ResNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google