ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、推論プロセス中の消費電力とイベント駆動型の特性において顕著な利点を示しています。
低消費電力を最大限に活用し、これらのモデルの効率をさらに向上させるために、トレーニング後に冗長接続のない疎な SNN を見つける枝刈り方法が検討されました。
ただし、パラメーターの冗長性は依然としてトレーニング中の SNN の効率を妨げます。
人間の脳では、ニューラル ネットワークの再配線プロセスは非常に動的ですが、脳の発達中はシナプス接続が比較的まばらに維持されます。
これに触発されて、ここでは、スパース SNN トレーニングを最初から実装するための、ESL-SNN と呼ばれる SNN 用の効率的な進化構造学習 (ESL) フレームワークを提案します。
SNN におけるシナプス接続の剪定と再生成は学習中に動的に進化しますが、構造的な疎性は一定のレベルに保たれます。
その結果、ESL-SNN は、時間の経過とともに可能なすべてのパラメーターを探索することで、最適なスパース接続を検索できます。
私たちの実験は、提案された ESL-SNN フレームワークが、限られた精度を軽減しながら、疎な構造を持つ SNN を効果的に学習できることを示しています。
ESL-SNN は、DVS-Cifar10 データセット上で 10% の接続密度でわずか 0.28% の精度損失を達成します。
私たちの研究は、生物学的に妥当な進化メカニズムを使用して SNN のスパース トレーニングをゼロから行うまったく新しいアプローチを提示し、スパース トレーニングとデンス トレーニングの間の表現力のギャップを埋めます。
したがって、低消費電力と少ないメモリ使用量で SNN 軽量トレーニングと推論を実現できる大きな可能性を秘めています。

要約(オリジナル)

Spiking neural networks (SNNs) have manifested remarkable advantages in power consumption and event-driven property during the inference process. To take full advantage of low power consumption and improve the efficiency of these models further, the pruning methods have been explored to find sparse SNNs without redundancy connections after training. However, parameter redundancy still hinders the efficiency of SNNs during training. In the human brain, the rewiring process of neural networks is highly dynamic, while synaptic connections maintain relatively sparse during brain development. Inspired by this, here we propose an efficient evolutionary structure learning (ESL) framework for SNNs, named ESL-SNNs, to implement the sparse SNN training from scratch. The pruning and regeneration of synaptic connections in SNNs evolve dynamically during learning, yet keep the structural sparsity at a certain level. As a result, the ESL-SNNs can search for optimal sparse connectivity by exploring all possible parameters across time. Our experiments show that the proposed ESL-SNNs framework is able to learn SNNs with sparse structures effectively while reducing the limited accuracy. The ESL-SNNs achieve merely 0.28% accuracy loss with 10% connection density on the DVS-Cifar10 dataset. Our work presents a brand-new approach for sparse training of SNNs from scratch with biologically plausible evolutionary mechanisms, closing the gap in the expressibility between sparse training and dense training. Hence, it has great potential for SNN lightweight training and inference with low power consumption and small memory usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google