Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff

要約

スパイキング ニューラル ネットワーク (SNN) は、自然のニューラル ネットワークをより厳密に模倣した次世代の人工ニューラル ネットワーク (ANN) であり、計算効率の向上が期待できます。
しかし、現在の SNN トレーニング方法論は主に固定タイムステップ アプローチを採用しており、SNN における動的な推論の可能性を見落としています。
この論文では、効率的な推論を達成するために推論中にいつでも SNN を終了できる SNN でのカットオフを考慮する提案により、SNN とイベント駆動型処理の連携を強化します。
推論効率の高い SNN を実現するための 2 つの新しい最適化手法、Top-K カットオフと正則化を紹介します。
Top-K カットオフ手法は SNN の推論を最適化し、正則化はトレーニングに影響を与え、カットオフに対して最適化されたパフォーマンスで SNN を構築するために提案されています。
私たちは、Cifar10/100、Tiny-ImageNet などの複数のベンチマーク フレームベースのデータセットと、CIFAR10-DVS、N-Caltech101、DVS128 Gesture などのイベントベースのデータセットで広範な実験を実施しています。
実験結果は、ANN から SNN への変換と直接トレーニングの両方における私たちの技術の有効性を実証し、それらの互換性と、既存の手法と統合した場合の精度の向上と推論タイムステップの削減における潜在的な利点を確認します。
利用可能なコード: https://github.com/Dengyu-Wu/SNN- Regularisation-Cutoff

要約(オリジナル)

Spiking neural network (SNN), next generation of artificial neural network (ANN) that more closely mimic natural neural networks offers promising improvements in computational efficiency. However, current SNN training methodologies predominantly employ a fixed timestep approach, overlooking the potential of dynamic inference in SNN. In this paper, we strengthen the marriage between SNN and event-driven processing with a proposal to consider cutoff in SNN, which can terminate SNN anytime during the inference to achieve efficient inference. Two novel optimisation techniques are presented to achieve inference efficient SNN: a Top-K cutoff and a regularisation. The Top-K cutoff technique optimises the inference of SNN, and the regularisation are proposed to affect the training and construct SNN with optimised performance for cutoff. We conduct an extensive set of experiments on multiple benchmark frame-based datsets, such as Cifar10/100, Tiny-ImageNet and event-based datasets, including CIFAR10-DVS, N-Caltech101 and DVS128 Gesture. The experimental results demonstrate the effectiveness of our techniques in both ANN-to-SNN conversion and direct training, affirming their compatibility and potential benefits in enhancing accuracy and reducing inference timestep when integrated with existing methods. Code available: https://github.com/Dengyu-Wu/SNN-Regularisation-Cutoff

arxiv情報

提供元, 利用サービス

arxiv.jp, Google