Neuronal Competition Groups with Supervised STDP for Spike-Based Classification

要約

スパイク タイミング依存可塑性 (STDP) は、ニューロモーフィック ハードウェア上でのスパイキング ニューラル ネットワーク (SNN) のローカル トレーニングにおけるバックプロパゲーションの有望な代替手段です。
STDP を使用すると、SNN は特徴抽出用の教師なし STDP と分類用の教師あり STDP を組み合わせて分類タスクに対処できます。
教師なし STDP は通常、Winner-Takes-All (WTA) 競争で使用され、明確なパターンを学習します。
しかし、監視付きSTDP分類のWTAは、不均衡な競争の課題に直面しています。
この論文では、ファーストスパイクコーディングと教師ありSTDPトレーニングを採用したスパイキング分類層でWTA競技を効果的に実装する方法を提案します。
クラスごとにさまざまなパターンの学習を促進することで分類機能を向上させるアーキテクチャである Neuronal Competition Group (NCG) を紹介します。
NCG は、特定のクラスにマッピングされたニューロンのグループであり、クラス内 WTA と 2 コンパートメントしきい値に基づく新しい競合制御メカニズムを実装しています。
私たちは、提案したアーキテクチャを、最先端の教師付き STDP ルールでトレーニングされたスパイキング分類層に組み込みます。
2 つの異なる教師なし特徴抽出器を使用することで、CIFAR-10 や CIFAR-100 などの画像認識データセットの精度が大幅に向上しました。
私たちは、競争の規制メカニズムがバランスの取れた競争と改善された階級分離を確保するために重要であることを示します。

要約(オリジナル)

Spike Timing-Dependent Plasticity (STDP) is a promising substitute to backpropagation for local training of Spiking Neural Networks (SNNs) on neuromorphic hardware. STDP allows SNNs to address classification tasks by combining unsupervised STDP for feature extraction and supervised STDP for classification. Unsupervised STDP is usually employed with Winner-Takes-All (WTA) competition to learn distinct patterns. However, WTA for supervised STDP classification faces unbalanced competition challenges. In this paper, we propose a method to effectively implement WTA competition in a spiking classification layer employing first-spike coding and supervised STDP training. We introduce the Neuronal Competition Group (NCG), an architecture that improves classification capabilities by promoting the learning of various patterns per class. An NCG is a group of neurons mapped to a specific class, implementing intra-class WTA and a novel competition regulation mechanism based on two-compartment thresholds. We incorporate our proposed architecture into spiking classification layers trained with state-of-the-art supervised STDP rules. On top of two different unsupervised feature extractors, we obtain significant accuracy improvements on image recognition datasets such as CIFAR-10 and CIFAR-100. We show that our competition regulation mechanism is crucial for ensuring balanced competition and improved class separation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google