SpikeCP: Delay-Adaptive Reliable Spiking Neural Networks via Conformal Prediction

要約

スパイキング ニューラル ネットワーク (SNN) は、内部のイベント駆動型ニューラル ダイナミクスを介して時系列データを処理します。そのエネルギー消費は、入力プレゼンテーション中にニューロン間で交換されるスパイクの数に依存します。
SNN 分類器の一般的な実装では、入力シーケンス全体が処理された後に決定が生成されるため、入力全体でレイテンシーとエネルギー消費レベルがかなり均一になります。
最近導入された遅延適応型 SNN は、SNN モデルに十分な「信頼性」がある場合に早期の決定を行うことで、推論レイテンシとそれに伴うエネルギー消費を各例の難易度に合わせて調整します。
この論文では、SNN が入力サンプルを処理する際、その分類決定は、その決定のグラウンドトゥルース、未知のテスト精度に関して、最初は自信が低く、次に自信が過剰になる傾向があることを観察することから始めます。
このため、必要なレベルの精度を保証する停止時間を決定することが困難になります。
この問題に対処するために、新しい遅延適応型 SNN ベースの推論手法を導入します。この推論手法は、事前トレーニングされた SNN 分類器を包み込み、入力依存の停止時間で生成される決定の信頼性を保証します。
このアプローチでは、基盤となる SNN と比較して複雑さの追加が最小限に抑えられ、実行時にしきい値処理とカウント操作のみが必要となり、等角予測 (CP) のツールを活用します。

要約(オリジナル)

Spiking neural networks (SNNs) process time-series data via internal event-driven neural dynamics whose energy consumption depends on the number of spikes exchanged between neurons over the course of the input presentation. In typical implementations of an SNN classifier, decisions are produced after the entire input sequence has been processed, resulting in latency and energy consumption levels that are fairly uniform across inputs. Recently introduced delay-adaptive SNNs tailor the inference latency — and, with it, the energy consumption — to the difficulty of each example, by producing an early decision when the SNN model is sufficiently “confident”. In this paper, we start by observing that, as an SNN processes input samples, its classification decisions tend to be first under-confident and then over-confident with respect to the decision’s ground-truth, unknown, test accuracy. This makes it difficult to determine a stopping time that ensures a desired level of accuracy. To address this problem, we introduce a novel delay-adaptive SNN-based inference methodology that, wrapping around any pre-trained SNN classifier, provides guaranteed reliability for the decisions produced at input-dependent stopping times. The approach entails minimal added complexity as compared to the underlying SNN, requiring only thresholding and counting operations at run time, and it leverages tools from conformal prediction (CP).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google