Parallel Spiking Neurons with High Efficiency and Long-term Dependencies Learning Ability

要約

タイトル：高効率および長期依存学習能力を持つ並列スパイキングニューロン

要約：
– Vanilla spiking neuronsは、典型的な充電ー発火ーリセットのニューロンダイナミクスを使用しており、これらは直列にシミュレーションすることしかできず、長期依存性を学ぶことができない。
– リセットを削除すると、ニューロンダイナミクスは反復形式ではなく再形成され、並列化が可能になることがわかった。
– リセットなしでニューロンダイナミクスを書き直すことで、時限を最大限活用するための時間ステップ間の密な接続を使用するParallel Spiking Neuron（PSN）を提案する。
– 低レイテンシーの推論に将来の入力を使用しないように、重みにマスクを追加し、マスクされたPSNを取得する。
– 時間ステップ間で重みを共有することにより、荷電スパイキングニューロンを処理できるようにするsliding PSNも提案される。
– PSNファミリーをシミュレーション速度と時間/静的データ分類で評価し、その結果、PSNファミリーの効率と精度の圧倒的な優位性が示された。
– これはスパイキング深層学習コミュニティの基礎となる、スパイキングニューロンの並列化に関する初めての研究である。

要約(オリジナル)

Vanilla spiking neurons in Spiking Neural Networks (SNNs) use charge-fire-reset neuronal dynamics, which can only be simulated in serial and can hardly learn long-time dependencies. We find that when removing reset, the neuronal dynamics are reformulated in a non-iterative form and can be parallelized. By rewriting neuronal dynamics without resetting to a general formulation, we propose the Parallel Spiking Neuron (PSN), which uses dense connections between time-steps to maximize the utilization of temporal information. To avoid the use of future inputs for low-latency inference, we add masks on the weights and obtain the masked PSN. By sharing weights across time-steps, the sliding PSN is proposed with the ability to deal with sequences with variant lengths. We evaluate the PSN family on simulation speed and temporal/static data classification, and the results show the overwhelming advantage of the PSN family in efficiency and accuracy. To our best knowledge, this is the first research about parallelizing spiking neurons and can be a cornerstone for the spiking deep learning community. Our codes are available at \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI