Towards Chip-in-the-loop Spiking Neural Network Training via Metropolis-Hastings Sampling

要約

この論文では、強力な未知の非理想性の影響を受けるスパイキング ニューラル ネットワーク (SNN) ハードウェアをトレーニングするためのメトロポリス ヘイスティングス サンプリングの使用について研究し、提案されたアプローチを誤差逆伝播 (バックプロップ) アルゴリズムと代理勾配の一般的な使用法と広く比較します。
文献で SNN を訓練するために使用されます。
シミュレーションはチップインザループ トレーニング コンテキスト内で実行されます。この場合、未知の歪みにさらされる SNN は、生物医学アプリケーション コンテキスト内で、測定値からがんを検出するようにトレーニングされる必要があります。
私たちの結果は、ハードウェアの非理想性が強い場合に、提案されたアプローチがバックプロップの使用よりも最大 $27\%$ 高い精度で優れていることを示しています。
さらに、私たちの結果は、提案されたアプローチが SNN 一般化の点でバックプロップよりも優れており、有効な精度を達成するために必要なトレーニング データの量が $>10 \times$ であることも示しています。
これらの発見により、提案されたトレーニング アプローチは、未知のハードウェアの非理想性がバックプロップを危険にさらす可能性があるアナログ サブスレッショルド回路やその他の新興テクノロジーでの SNN 実装に適しています。

要約(オリジナル)

This paper studies the use of Metropolis-Hastings sampling for training Spiking Neural Network (SNN) hardware subject to strong unknown non-idealities, and compares the proposed approach to the common use of the backpropagation of error (backprop) algorithm and surrogate gradients, widely used to train SNNs in literature. Simulations are conducted within a chip-in-the-loop training context, where an SNN subject to unknown distortion must be trained to detect cancer from measurements, within a biomedical application context. Our results show that the proposed approach strongly outperforms the use of backprop by up to $27\%$ higher accuracy when subject to strong hardware non-idealities. Furthermore, our results also show that the proposed approach outperforms backprop in terms of SNN generalization, needing $>10 \times$ less training data for achieving effective accuracy. These findings make the proposed training approach well-suited for SNN implementations in analog subthreshold circuits and other emerging technologies where unknown hardware non-idealities can jeopardize backprop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google