Adversarially Robust Spiking Neural Networks Through Conversion

要約

スパイキング ニューラル ネットワーク (SNN) は、さまざまな人工ニューラル ネットワーク (ANN) ベースの AI アプリケーションに代わるエネルギー効率の高い代替手段を提供します。
SNN を使用したニューロモーフィック コンピューティングの進歩により、アプリケーションでの使用が拡大するにつれて、SNN の敵対的堅牢性の問題がより顕著になります。
広く検討されているエンドツーエンドの敵対的トレーニング ベースのソリューションとは対照的に、我々は、敵対的にロバストな ANN から SNN への変換アルゴリズムを提案することで、スケーラブルでロバストな SNN トレーニング方法の限られた進歩に対処します。
私たちの方法は、ANN 向けに提案されているさまざまな計算要求の高い堅牢な学習目標を受け入れるための効率的なアプローチを提供します。
変換後のロバストな微調整フェーズ中に、私たちの方法は、SNNの層ごとの発火閾値とシナプス接続重みの両方を敵対的に最適化し、事前トレーニングされたANNから転送されたロバスト性ゲインを維持します。
我々は、SNN の堅牢性を厳密に評価するために提案された新しい設定で実験評価を実行します。この設定では、スパイクベースの操作ダイナミクスを考慮した多数の適応型敵対的攻撃が考慮されます。
結果は、私たちのアプローチが低遅延で敵対的に堅牢なディープ SNN のためのスケーラブルな最先端のソリューションを生み出すことを示しています。

要約(オリジナル)

Spiking neural networks (SNNs) provide an energy-efficient alternative to a variety of artificial neural network (ANN) based AI applications. As the progress in neuromorphic computing with SNNs expands their use in applications, the problem of adversarial robustness of SNNs becomes more pronounced. To the contrary of the widely explored end-to-end adversarial training based solutions, we address the limited progress in scalable robust SNN training methods by proposing an adversarially robust ANN-to-SNN conversion algorithm. Our method provides an efficient approach to embrace various computationally demanding robust learning objectives that have been proposed for ANNs. During a post-conversion robust finetuning phase, our method adversarially optimizes both layer-wise firing thresholds and synaptic connectivity weights of the SNN to maintain transferred robustness gains from the pre-trained ANN. We perform experimental evaluations in a novel setting proposed to rigorously assess the robustness of SNNs, where numerous adaptive adversarial attacks that account for the spike-based operation dynamics are considered. Results show that our approach yields a scalable state-of-the-art solution for adversarially robust deep SNNs with low-latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google