Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees

要約

スパイキング ニューラル ネットワーク (SNN) は、内部のイベント駆動型ニューラル ダイナミクスを介して時系列データを処理します。そのエネルギー消費は、入力プレゼンテーション中にニューロン間で交換されるスパイクの数に依存します。
通常、入力シーケンス全体が処理された後に決定が行われるため、入力全体で遅延とエネルギー消費レベルがかなり均一になります。
ただし、最近の研究で検討されているように、SNN モデルが十分に「自信」がある場合、SNN は遅延とエネルギー消費を各例の難易度に適応させて早期の決定を行うことができます。
既存の技術は、信頼性の保証を提供しないヒューリスティックな信頼度の尺度に基づいており、早期に終了する可能性があります。
この論文では、事前トレーニングされた SNN 分類器をラップアラウンドして、入力依存の停止時間で生成される決定の信頼性を保証する、新しい遅延適応 SNN ベースの推論方法論を紹介します。
SpikeCP と呼ばれるこのアプローチは、等角予測 (CP) のツールを活用しており、基盤となる SNN と比較して複雑さの増加は最小限に抑えられ、実行時に追加のしきい値処理とカウント操作のみが必要になります。
SpikeCP は、遅延パフォーマンスをターゲットとする CP を意識したトレーニング フェーズを統合するように拡張されています。
Bonferroni から Simes まで、代替の信頼補正スキームに基づく CP のバリアントが調査され、MNIST-DVS データセットを使用した広範な実験が説明されています。

要約(オリジナル)

Spiking neural networks (SNNs) process time-series data via internal event-driven neural dynamics whose energy consumption depends on the number of spikes exchanged between neurons over the course of the input presentation. Typically, decisions are produced after the entire input sequence has been processed, resulting in latency and energy consumption levels that are fairly uniform across inputs. However, as explored in recent work, SNNs can produce an early decision when the SNN model is sufficiently “confident”, adapting delay and energy consumption to the difficulty of each example. Existing techniques are based on heuristic measures of confidence that do not provide reliability guarantees, potentially exiting too early. In this paper, we introduce a novel delay-adaptive SNN-based inference methodology that, wrapping around any pre-trained SNN classifier, provides guaranteed reliability for the decisions produced at input-dependent stopping times. The approach, dubbed SpikeCP, leverages tools from conformal prediction (CP), and it entails minimal complexity increase as compared to the underlying SNN, requiring only additional thresholding and counting operations at run time. SpikeCP is also extended to integrate a CP-aware training phase that targets delay performance. Variants of CP based on alternative confidence correction schemes, from Bonferroni to Simes, are explored, and extensive experiments are described using the MNIST-DVS data set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google