GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

要約

スパイキングニューラルネットワーク（SNN）は、その生物学的妥当性を取り入れ、有望なエネルギー効率を活用するために、数十年にわたり研究されてきました。既存のSNNでは、スパイキングニューロンを形成するためにリーキーインテグレートアンドファイア（LIF）モデルが一般的に採用されており、異なる生物学的特徴を持つ数多くのバリエーションに発展しています。しかし、ほとんどのLIFモデルは、異なるニューロン動作において単一の生物学的特徴しかサポートしておらず、その表現力とニューロンの動的多様性が制限されています。本論文では、異なる神経行動における異なる生物学的特徴を融合し、スパイクニューロンの表現空間を拡大するために、統一的なスパイクニューロンであるGLIFを提案します。GLIFでは、融合された生体特徴の割合を決定するために利用されるゲーティングファクターは、学習中に学習可能である。学習可能な膜関連パラメータを全て組み合わせることで、スパイクニューロンを異なるものにし、常に変化させることができるため、スパイクニューロンの異質性と適応性を向上させることができる。様々なデータセットに対する広範な実験により、本手法はニューロンの定式化をGLIFに変更するだけで、他のSNNと比較して優れた性能を得ることができることを示す。特に、スパイク型ResNet-19をGLIFで学習させ、CIFAR-100において6ステップで$77.35%$のトップ1精度を達成し、最先端を進んでいることを確認しました。コードは、୧⃛(๑⃙⃘◡̈๑⃙⃘)୨⃛にあります。

要約(オリジナル)

Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL