GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

要約

スパイク ニューラル ネットワーク (SNN) は、その生物学的妥当性を組み込み、有望なエネルギー効率を活用するために、何十年にもわたって研究されてきました。
既存の SNN 全体で、スパイク ニューロンを定式化するために漏出統合発火 (LIF) モデルが一般的に採用され、さまざまな生物学的特徴を持つ多数のバリアントに進化します。
ただし、ほとんどの LIF ベースのニューロンは、さまざまなニューロンの動作において単一の生物学的特徴のみをサポートしており、その表現力とニューロンの動的多様性を制限しています。
この論文では、スパイクニューロンの表現空間を拡大し、さまざまなニューロンの行動のさまざまな生体機能を融合するために、統合されたスパイキングニューロンである GLIF を提案します。
GLIF では、融合されたバイオ機能の割合を決定するために利用されるゲーティング ファクターは、トレーニング中に学習可能です。
学習可能なすべての膜関連パラメーターを組み合わせることで、私たちの方法はスパイク ニューロンを異なるものにし、絶えず変化させることができるため、スパイク ニューロンの不均一性と適応性が向上します。
さまざまなデータセットでの広範な実験により、ニューロンの定式化を GLIF に変更するだけで、他の SNN と比較して優れたパフォーマンスが得られることが実証されています。
特に、GLIF を使用してスパイク ResNet-19 をトレーニングし、CIFAR-100 で 6 時間ステップで $77.35\%$ のトップ 1 精度を達成し、最先端の技術を進歩させました。
コードは \url{https://github.com/Ikarosy/Gated-LIF} で入手できます。

要約(オリジナル)

Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google