Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff

要約

エネルギー効率の利点を備えた人工ニューラル ネットワーク (ANN) の一種であるスパイキング ニューラル ネットワーク (SNN) は、CIFAR10/100 や ImageNet などのベンチマーク データセットで、対応する ANN に近い精度を達成しました。
ただし、フレームベースの入力 (画像など) と比較すると、ダイナミック ビジョン センサー (DVS) などからのイベントベースの入力は、SNN の非同期動作メカニズムのおかげで、SNN をより有効に活用できます。
この論文では、最適な推論結果を達成するために推論中にいつでも終了できる、いつでも最適な推論 SNN (AOI-SNN) を考慮する提案により、SNN とイベントベースの入力の間の結合を強化します。
AOI-SNN を実現するために、正則化とカットオフという 2 つの新しい最適化手法が紹介されています。
正則化により、パフォーマンスが最適化された SNN のトレーニングと構築が可能になり、カットオフ手法により、イベント駆動型の入力に対する SNN の推論が最適化されます。
私たちは、CIFAR10-DVS、N-Caltech101、DVS128 Gesture など、複数のベンチマーク イベントベースのデータセットに対して広範な実験を実施しています。
実験結果は、私たちの技術が精度と遅延の点で最先端技術よりも優れていることを示しています。

要約(オリジナル)

Spiking neural networks (SNNs), a variant of artificial neural networks (ANNs) with the benefit of energy efficiency, have achieved the accuracy close to its ANN counterparts, on benchmark datasets such as CIFAR10/100 and ImageNet. However, comparing with frame-based input (e.g., images), event-based inputs from e.g., Dynamic Vision Sensor (DVS) can make a better use of SNNs thanks to the SNNs’ asynchronous working mechanism. In this paper, we strengthen the marriage between SNNs and event-based inputs with a proposal to consider anytime optimal inference SNNs, or AOI-SNNs, which can terminate anytime during the inference to achieve optimal inference result. Two novel optimisation techniques are presented to achieve AOI-SNNs: a regularisation and a cutoff. The regularisation enables the training and construction of SNNs with optimised performance, and the cutoff technique optimises the inference of SNNs on event-driven inputs. We conduct an extensive set of experiments on multiple benchmark event-based datasets, including CIFAR10-DVS, N-Caltech101 and DVS128 Gesture. The experimental results demonstrate that our techniques are superior to the state-of-the-art with respect to the accuracy and latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google