Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff

要約

エネルギー効率の利点を備えた人工ニューラル ネットワーク (ANN) の変形であるスパイキング ニューラル ネットワーク (SNN) は、CIFAR10/100 や ImageNet などのベンチマーク データセットで、ANN の同等物に近い精度を達成しました。
ただし、フレームベースの入力 (画像など) と比較すると、ダイナミック ビジョン センサー (DVS) などからのイベントベースの入力は、SNN の非同期動作メカニズムのおかげで、SNN をより有効に活用できます。
このホワイトペーパーでは、最適な推論結果を達成するために推論中にいつでも終了できる、いつでも最適な推論 SNN (AOI-SNN) を検討することを提案して、SNN とイベントベースの入力との間の結合を強化します。
AOI-SNN を達成するために、正則化とカットオフという 2 つの新しい最適化手法が提示されます。
正則化により、パフォーマンスが最適化された SNN のトレーニングと構築が可能になり、カットオフ手法により、イベント駆動型入力での SNN の推論が最適化されます。
CIFAR10-DVS、N-Caltech101、DVS128 Gesture など、複数のベンチマーク イベントベースのデータセットで広範な実験を実施しています。
実験結果は、精度と遅延に関して、私たちの技術が最先端技術よりも優れていることを示しています。

要約(オリジナル)

Spiking neural networks (SNNs), a variant of artificial neural networks (ANNs) with the benefit of energy efficiency, have achieved the accuracy close to its ANN counterparts, on benchmark datasets such as CIFAR10/100 and ImageNet. However, comparing with frame-based input (e.g., images), event-based inputs from e.g., Dynamic Vision Sensor (DVS) can make a better use of SNNs thanks to the SNNs’ asynchronous working mechanism. In this paper, we strengthen the marriage between SNNs and event-based inputs with a proposal to consider anytime optimal inference SNNs, or AOI-SNNs, which can terminate anytime during the inference to achieve optimal inference result. Two novel optimisation techniques are presented to achieve AOI-SNNs: a regularisation and a cutoff. The regularisation enables the training and construction of SNNs with optimised performance, and the cutoff technique optimises the inference of SNNs on event-driven inputs. We conduct an extensive set of experiments on multiple benchmark event-based datasets, including CIFAR10-DVS, N-Caltech101 and DVS128 Gesture. The experimental results demonstrate that our techniques are superior to the state-of-the-art with respect to the accuracy and latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google