Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies

要約

スパイキング ニューラル ネットワーク (SNN) のバニラ スパイキング ニューロンは、チャージ – ファイア – リセット ニューロン ダイナミクスを使用します。これはシリアルにのみシミュレートでき、長時間の依存関係を学習することはほとんどできません。
リセットを削除すると、ニューロンのダイナミクスが非反復形式で再定式化され、並列化できることがわかりました。
一般的な定式化にリセットせずにニューロン ダイナミクスを書き直すことにより、先行するものから独立した隠れ状態を生成するパラレル スパイキング ニューロン (PSN) を提案します。その結果、並列化可能なニューロン ダイナミクスと非常に高いシミュレーション速度が実現します。
PSN の入力の重みは完全に結合されており、時間情報の利用が最大化されます。
段階的な推論に今後の入力が使用されるのを避けるために、PSN の重みをマスクして、マスクされた PSN を作成することができます。
マスクされた PSN に基づいてタイムステップ間で重みを共有することにより、スライディング PSN はさまざまな長さのシーケンスを処理することが提案されています。
シミュレーション速度と時間/静的データ分類に関して PSN ファミリを評価した結果、効率と精度において PSN ファミリが圧倒的に優れていることがわかりました。
私たちの知る限り、これはスパイキング ニューロンの並列化に関する最初の研究であり、スパイキング ディープ ラーニング研究の基礎となる可能性があります。
コードは \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron} で入手できます。

要約(オリジナル)

Vanilla spiking neurons in Spiking Neural Networks (SNNs) use charge-fire-reset neuronal dynamics, which can only be simulated serially and can hardly learn long-time dependencies. We find that when removing reset, the neuronal dynamics can be reformulated in a non-iterative form and parallelized. By rewriting neuronal dynamics without reset to a general formulation, we propose the Parallel Spiking Neuron (PSN), which generates hidden states that are independent of their predecessors, resulting in parallelizable neuronal dynamics and extremely high simulation speed. The weights of inputs in the PSN are fully connected, which maximizes the utilization of temporal information. To avoid the use of future inputs for step-by-step inference, the weights of the PSN can be masked, resulting in the masked PSN. By sharing weights across time-steps based on the masked PSN, the sliding PSN is proposed to handle sequences of varying lengths. We evaluate the PSN family on simulation speed and temporal/static data classification, and the results show the overwhelming advantage of the PSN family in efficiency and accuracy. To the best of our knowledge, this is the first study about parallelizing spiking neurons and can be a cornerstone for the spiking deep learning research. Our codes are available at \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google