Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks

要約

ニューロモルフィック・ハードウェア上でのスパイキング・ニューラル・ネットワーク（SNN）の直接学習は、最新のコンピュータ上での人工ニューラルネットワーク（ANN）の学習における高いエネルギー消費を大幅に削減する可能性がある。SNNの生物学的妥当性により、SNNはスパイクタイミング依存可塑性（STDP）のような生物学に着想を得た可塑性ルールの恩恵を受けることができる。STDPは勾配のない教師なし局所学習を提供し、ニューロモルフィック・ハードウェアに容易に実装できる。しかし、教師なしSTDPだけに頼って分類タスクを実行するのは十分ではない。本論文では、教師なしSTDPを備えたSNNの分類層を学習するための教師ありSTDP学習ルールである安定化教師ありSTDP（Stabilized Supervised STDP：S2-STDP）を提案する。S2-STDPは、ニューロンのスパイクを層内の平均発火時間から得られる望ましいタイムスタンプに合わせる誤差変調された重み更新を統合する。次に、S2-STDPで学習した分類層の学習能力をさらに高めるために、ペア競合ニューロン（Paired Competing Neurons: PCN）と呼ばれる学習アーキテクチャを導入する。PCNは各クラスをペアとなるニューロンと関連付け、クラス内競争を通じてニューロンの特殊化を促す。提案手法をMNIST、Fashion-MNIST、CIFAR-10を含む画像認識データセットで評価した。その結果、本手法は、同程度のアーキテクチャとニューロン数において、現在の教師ありSTDPベースの最先端技術を凌駕することが示された。また、PCNの使用は、ハイパーパラメータを導入することなく、構成に関係なく、S2-STDPの性能を向上させる。更なる解析により、我々の手法は、チューニングの必要性を低減する、ハイパーパラメータのロバスト性を改善することが示された。

要約(オリジナル)

Direct training of Spiking Neural Networks (SNNs) on neuromorphic hardware has the potential to significantly reduce the high energy consumption of Artificial Neural Networks (ANNs) training on modern computers. The biological plausibility of SNNs allows them to benefit from bio-inspired plasticity rules, such as Spike Timing-Dependent Plasticity (STDP). STDP offers gradient-free and unsupervised local learning, which can be easily implemented on neuromorphic hardware. However, relying solely on unsupervised STDP to perform classification tasks is not enough. In this paper, we propose Stabilized Supervised STDP (S2-STDP), a supervised STDP learning rule to train the classification layer of an SNN equipped with unsupervised STDP. S2-STDP integrates error-modulated weight updates that align neuron spikes with desired timestamps derived from the average firing time within the layer. Then, we introduce a training architecture called Paired Competing Neurons (PCN) to further enhance the learning capabilities of our classification layer trained with S2-STDP. PCN associates each class with paired neurons and encourages neuron specialization through intra-class competition. We evaluated our proposed methods on image recognition datasets, including MNIST, Fashion-MNIST, and CIFAR-10. Results showed that our methods outperform current supervised STDP-based state of the art, for comparable architectures and numbers of neurons. Also, the use of PCN enhances the performance of S2-STDP, regardless of the configuration, and without introducing any hyperparameters.Further analysis demonstrated that our methods exhibited improved hyperparameter robustness, which reduces the need for tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL