Temporal Misalignment and Probabilistic Neurons

要約

スパイクニューラルネットワーク（SNNS）は、生物学的神経原理を模倣することにより、人工ニューラルネットワーク（ANN）のよりエネルギー効率の高い代替品を提供し、大規模なニューラルモデルの増加するエネルギー需要を軽減するための有望なアプローチとして確立します。
ただし、SNNの機能を完全に活用すると、個別の信号処理と時間的ダイナミクスがあるため、依然として困難なままです。
ANN-SNNの変換は実用的なアプローチとして浮上しており、SNNが複雑な機械学習タスクで競争力のあるパフォーマンスを達成できるようになりました。
この作業では、SNN層全体のランダムスパイク再配置がパフォーマンスの改善につながる、時間的な不整合と呼ばれるANN-SNN変換フレームワークの現象を特定します。
この観察に基づいて、生物学的にもっともらしい2相の確率（TPP）スパイクニューロンを導入し、変換プロセスをさらに強化します。
私たちは、CIFAR-10/100、CIFAR10-DVS、およびImagenetの包括的な実験を通じて理論的および経験的に提案された方法の利点を示し、最先端の結果を達成します。

要約(オリジナル)

Spiking Neural Networks (SNNs) offer a more energy-efficient alternative to Artificial Neural Networks (ANNs) by mimicking biological neural principles, establishing them as a promising approach to mitigate the increasing energy demands of large-scale neural models. However, fully harnessing the capabilities of SNNs remains challenging due to their discrete signal processing and temporal dynamics. ANN-SNN conversion has emerged as a practical approach, enabling SNNs to achieve competitive performance on complex machine learning tasks. In this work, we identify a phenomenon in the ANN-SNN conversion framework, termed temporal misalignment, in which random spike rearrangement across SNN layers leads to performance improvements. Based on this observation, we introduce biologically plausible two-phase probabilistic (TPP) spiking neurons, further enhancing the conversion process. We demonstrate the advantages of our proposed method both theoretically and empirically through comprehensive experiments on CIFAR-10/100, CIFAR10-DVS, and ImageNet across a variety of architectures, achieving state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google