Bridge the Gap between SNN and ANN for Image Restoration

要約

従来の人工ニューラルネットワーク（ANN）に基づく密な予測のモデルには、特に画像修復タスクのために多くのエネルギーが必要です。
現在、SNN（スパイクニューラルネットワーク）フレームワークに基づくニューラルネットワークは、特に同じアーキテクチャでANNのエネルギーの10 \％未満を使用するため、画像修復の分野でマークを付け始めています。
ただし、SNNのトレーニングは、ヒューリスティック勾配降下戦略の使用により、ANNをトレーニングするよりもはるかに高価です。
言い換えれば、SNNの潜在的な膜信号のスパースから密度に変化するプロセスは非常に遅く、これはモデル全体の収束に影響を及ぼします。この問題に取り組むために、教師がANNであり、学生がSNNである非対称フレームワーク（ANN-SNN）蒸留と呼ばれる新しい蒸留技術を提案します。
具体的には、SNNのトレーニングプロセスをガイドするためのヒントとして、ANNが学んだ中間機能（機能マップ）を活用します。
このアプローチは、SNNの収束を加速するだけでなく、最終的なパフォーマンスを改善し、SNNの効率とANNの優れた学習能力とのギャップを効果的に埋めることもできます。
広範な実験結果は、設計されたSNNベースの画像修復モデルは、教師ネットワークのパラメーターの数と1/50の教師ネットワークのエネルギー消費量の1/300しかないことを示しています。

要約(オリジナル)

Models of dense prediction based on traditional Artificial Neural Networks (ANNs) require a lot of energy, especially for image restoration tasks. Currently, neural networks based on the SNN (Spiking Neural Network) framework are beginning to make their mark in the field of image restoration, especially as they typically use less than 10\% of the energy of ANNs with the same architecture. However, training an SNN is much more expensive than training an ANN, due to the use of the heuristic gradient descent strategy. In other words, the process of SNN’s potential membrane signal changing from sparse to dense is very slow, which affects the convergence of the whole model.To tackle this problem, we propose a novel distillation technique, called asymmetric framework (ANN-SNN) distillation, in which the teacher is an ANN and the student is an SNN. Specifically, we leverage the intermediate features (feature maps) learned by the ANN as hints to guide the training process of the SNN. This approach not only accelerates the convergence of the SNN but also improves its final performance, effectively bridging the gap between the efficiency of the SNN and the superior learning capabilities of ANN. Extensive experimental results show that our designed SNN-based image restoration model, which has only 1/300 the number of parameters of the teacher network and 1/50 the energy consumption of the teacher network, is as good as the teacher network in some denoising tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google