Spiking Denoising Diffusion Probabilistic Models

要約

スパイキング ニューラル ネットワーク (SNN) は、人工ニューラル ネットワーク (ANN) と比較して、バイナリおよびバイオ駆動の性質により、超低エネルギー消費と高い生物学的妥当性を備えています。
これまでの研究は主に分類タスクにおける SNN のパフォーマンスの向上に焦点を当ててきましたが、SNN の生成可能性は比較的未解明なままです。
私たちの論文では、高いサンプル品質を実現する新しいクラスの SNN ベースの生成モデルであるスパイキングノイズ除去拡散確率モデル (SDDPM) を提案しました。
SNN のエネルギー効率を最大限に活用するために、純粋な Spikeing U-Net アーキテクチャを提案します。これは、わずか 4 つのタイム ステップを使用して、対応する ANN と同等のパフォーマンスを達成し、エネルギー消費を大幅に削減します。
広範な実験結果により、私たちのアプローチが生成タスクで最先端を達成し、他の SNN ベースの生成モデルを大幅に上回るパフォーマンスを示し、CIFAR-10 と CelebA で最大 12 倍と 6 ドルの改善を達成できることが明らかになりました。
それぞれデータセット。
さらに、トレーニングなしでパフォーマンスをさらに 16.7% 向上させることができる、しきい値に基づく戦略を提案します。
SDDPM は、SNN 生成の分野における重要な進歩を象徴し、新たな視点と潜在的な探索手段を注入します。

要約(オリジナル)

Spiking neural networks (SNNs) have ultra-low energy consumption and high biological plausibility due to their binary and bio-driven nature compared with artificial neural networks (ANNs). While previous research has primarily focused on enhancing the performance of SNNs in classification tasks, the generative potential of SNNs remains relatively unexplored. In our paper, we put forward Spiking Denoising Diffusion Probabilistic Models (SDDPM), a new class of SNN-based generative models that achieve high sample quality. To fully exploit the energy efficiency of SNNs, we propose a purely Spiking U-Net architecture, which achieves comparable performance to its ANN counterpart using only 4 time steps, resulting in significantly reduced energy consumption. Extensive experimental results reveal that our approach achieves state-of-the-art on the generative tasks and substantially outperforms other SNN-based generative models, achieving up to $12\times$ and $6\times$ improvement on the CIFAR-10 and the CelebA datasets, respectively. Moreover, we propose a threshold-guided strategy that can further improve the performances by 16.7% in a training-free manner. The SDDPM symbolizes a significant advancement in the field of SNN generation, injecting new perspectives and potential avenues of exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google