SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、そのエネルギー効率と生物学的妥当性により、最近の関心を集めています。
ただし、SNN に最適な学習アルゴリズムについてのコンセンサスがないため、SNN のパフォーマンスは依然として従来の人工ニューラル ネットワーク (ANN) に比べて遅れています。
最高のパフォーマンスの SNN は、ANN から SNN への変換、またはサロゲート勾配によるスパイクベースの逆伝播による学習に基づいています。
最近の研究の焦点は、手動で調整されたアーキテクチャとパラメータ調整を使用した、さまざまな学習戦略の開発とテストにあります。
Neuroevolution (NE) は、ANN を自動的に設計しパラメータを調整する方法として成功していることが証明されていますが、SNN への適用はまだ初期段階にあります。
DENSER は、遺伝的アルゴリズム (GA) と構造化文法進化 (SGE) の原理に基づいた、ANN の自動設計とパラメータ化のための NE フレームワークです。
この論文では、MNIST および Fashion-MNIST データセット上の画像分類のために、DENSER に基づく SNN 生成のための NE フレームワークである SPENSER を提案します。
SPENSER は、それぞれ 99.42% と 91.65% のテスト精度で、競争力のあるパフォーマンスのネットワークを生成します。

要約(オリジナル)

Spiking Neural Networks (SNNs) have attracted recent interest due to their energy efficiency and biological plausibility. However, the performance of SNNs still lags behind traditional Artificial Neural Networks (ANNs), as there is no consensus on the best learning algorithm for SNNs. Best-performing SNNs are based on ANN to SNN conversion or learning with spike-based backpropagation through surrogate gradients. The focus of recent research has been on developing and testing different learning strategies, with hand-tailored architectures and parameter tuning. Neuroevolution (NE), has proven successful as a way to automatically design ANNs and tune parameters, but its applications to SNNs are still at an early stage. DENSER is a NE framework for the automatic design and parametrization of ANNs, based on the principles of Genetic Algorithms (GA) and Structured Grammatical Evolution (SGE). In this paper, we propose SPENSER, a NE framework for SNN generation based on DENSER, for image classification on the MNIST and Fashion-MNIST datasets. SPENSER generates competitive performing networks with a test accuracy of 99.42% and 91.65% respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google