On the Intrinsic Structures of Spiking Neural Networks

要約

近年、SNN は時間依存のイベント駆動型データを処理できる優れた可能性があるため、SNN への関心が急速に高まっています。
SNN のパフォーマンスは、従来の ANN と同様に、適切なアーキテクチャの選択と接続重みの微調整だけでなく、スパイキング計算内の固有構造の綿密な構成にも左右されます。
しかし、固有の構造の影響を調査する包括的な研究は不足しています。
その結果、開発者は、SNN の標準化された構成をさまざまなデータセットやタスクに適用することが困難であると感じることがよくあります。
この研究では、SNN の本質的な構造を深く掘り下げています。
最初に、SNN の表現力に対する影響を解明することにより、固有構造の 2 つの重要なコンポーネントである積分操作と発火リセット機構を明らかにします。
さらに、我々は 2 つの重要な結論を導き出します。1 つは膜時間のハイパーパラメータであり、積分演算の固有値と密接に関連しており、スパイクダイナミクスの機能トポロジーを決定します。もう 1 つは、発火 – リセット機構のさまざまなハイパーパラメータが全体の発火能力を制御します。
SNN、入力データの注入率またはサンプリング密度を軽減します。
これらの発見は、SNN の有効性が固有の構造の構成に大きく依存する理由を解明し、これらの構造の適応性を高めることが SNN の全体的なパフォーマンスと適用性の向上に貢献するという推奨事項につながります。
この認識に触発されて、SNN 学習を強化するための 2 つの実現可能なアプローチを提案します。
これらには、自己接続アーキテクチャの活用と確率的スパイキング ニューロンの採用が含まれ、それぞれ積分演算と発火リセット メカニズムの適応性が強化されます。
提案手法の有効性を理論と実践の観点から検証します。

要約(オリジナル)

Recent years have emerged a surge of interest in SNNs owing to their remarkable potential to handle time-dependent and event-driven data. The performance of SNNs hinges not only on selecting an apposite architecture and fine-tuning connection weights, similar to conventional ANNs, but also on the meticulous configuration of intrinsic structures within spiking computations. However, there has been a dearth of comprehensive studies examining the impact of intrinsic structures. Consequently, developers often find it challenging to apply a standardized configuration of SNNs across diverse datasets or tasks. This work delves deep into the intrinsic structures of SNNs. Initially, we unveil two pivotal components of intrinsic structures: the integration operation and firing-reset mechanism, by elucidating their influence on the expressivity of SNNs. Furthermore, we draw two key conclusions: the membrane time hyper-parameter is intimately linked to the eigenvalues of the integration operation, dictating the functional topology of spiking dynamics, and various hyper-parameters of the firing-reset mechanism govern the overall firing capacity of an SNN, mitigating the injection ratio or sampling density of input data. These findings elucidate why the efficacy of SNNs hinges heavily on the configuration of intrinsic structures and lead to a recommendation that enhancing the adaptability of these structures contributes to improving the overall performance and applicability of SNNs. Inspired by this recognition, we propose two feasible approaches to enhance SNN learning. These involve leveraging self-connection architectures and employing stochastic spiking neurons to augment the adaptability of the integration operation and firing-reset mechanism, respectively. We verify the effectiveness of the proposed methods from perspectives of theory and practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google