CADE: Cosine Annealing Differential Evolution for Spiking Neural Network

要約

スパイク ニューラル ネットワーク (SNN) は、ニューロモーフィック コンピューティングとエネルギー効率の高い人工知能における可能性で注目を集めていますが、その最適化は、離散的なスパイク ベースの計算のため、勾配ベースの手法にとって依然として大きな課題です。
この論文では、SNN モデルの差分進化 (DE) の突然変異因子 (F) と交差率 (CR) を調整するように設計されたコサイン アニーリング差分進化 (CADE)、つまりスパイキング要素ワイズ (SEW) を導入することで課題に取り組むことを試みます。
）レスネット。
CADE を分析するために、広範な実証的評価が実施されました。
CADE は、探索空間の探索と活用におけるバランスを示し、その結果、既存の勾配ベースおよび DE ベースの手法と比較して収束が加速され、精度が向上しました。
さらに、転移学習設定に基づく初期化手法が開発され、ソース データセット (つまり、CIFAR-10) で事前トレーニングし、ターゲット データセット (つまり、CIFAR-100) を微調整して、母集団の多様性を改善しました。
SNN の CADE をさらに強化することがわかりました。
注目すべきことに、CADE は最高精度の SEW モデルのパフォーマンスをさらに 0.52 パーセント向上させ、SNN の微調整と強化における CADE の有効性を強調しています。
これらの発見は、特に DE ベースの SNN において、F および CR 調整におけるスケジューラの極めて重要な役割を強調しています。
Github のソースコード: https://github.com/Tank-Jiang/CADE4SNN。

要約(オリジナル)

Spiking neural networks (SNNs) have gained prominence for their potential in neuromorphic computing and energy-efficient artificial intelligence, yet optimizing them remains a formidable challenge for gradient-based methods due to their discrete, spike-based computation. This paper attempts to tackle the challenges by introducing Cosine Annealing Differential Evolution (CADE), designed to modulate the mutation factor (F) and crossover rate (CR) of differential evolution (DE) for the SNN model, i.e., Spiking Element Wise (SEW) ResNet. Extensive empirical evaluations were conducted to analyze CADE. CADE showed a balance in exploring and exploiting the search space, resulting in accelerated convergence and improved accuracy compared to existing gradient-based and DE-based methods. Moreover, an initialization method based on a transfer learning setting was developed, pretraining on a source dataset (i.e., CIFAR-10) and fine-tuning the target dataset (i.e., CIFAR-100), to improve population diversity. It was found to further enhance CADE for SNN. Remarkably, CADE elevates the performance of the highest accuracy SEW model by an additional 0.52 percentage points, underscoring its effectiveness in fine-tuning and enhancing SNNs. These findings emphasize the pivotal role of a scheduler for F and CR adjustment, especially for DE-based SNN. Source Code on Github: https://github.com/Tank-Jiang/CADE4SNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google