To Spike or Not to Spike? A Quantitative Comparison of SNN and CNN FPGA Implementations

要約

畳み込みニューラル ネットワーク (CNN) は、画像分類などのさまざまな問題を解決するために広く使用されています。
CNN アクセラレータは、計算とデータを大量に使用する性質があるため、ASIC または FPGA 上で開発されてきました。
アプリケーションの複雑さの増大により、これらのアクセラレータのリソースコストとエネルギー要件が増大しています。
スパイキング ニューラル ネットワーク (SNN) は、CNN 実装に代わる新たな代替手段であり、リソースとエネルギー効率の向上が期待できます。
この論文で扱う主な研究課題は、SNN 加速器が、同等の CNN と比較してエネルギー要件の削減というこれらの期待を本当に満たしているかどうかです。
この目的のために、FPGA 用の複数の SNN ハードウェア アクセラレータのパフォーマンスとエネルギー効率を分析します。
我々は、SNN のエネルギー効率をさらに向上させるための、スパイク イベント キューの新しいエンコード方式と新しいメモリ構成手法を提案します。
どちらの技術も最先端の SNN アーキテクチャに統合されており、MNIST、SVHN、CIFAR-10 データセットと、サイズの異なる 2 つの最新の FPGA プラットフォーム上の対応するネットワーク アーキテクチャに対して評価されています。
MNIST などの小規模なベンチマークの場合、SNN 設計は、対応する CNN 実装と比較して、レイテンシがまったくないか、ほとんどなく、エネルギー効率に優れています。
SVHN や CIFAR-10 などのより複雑なベンチマークでは、傾向が逆転します。

要約(オリジナル)

Convolutional Neural Networks (CNNs) are widely employed to solve various problems, e.g., image classification. Due to their compute- and data-intensive nature, CNN accelerators have been developed as ASICs or on FPGAs. Increasing complexity of applications has caused resource costs and energy requirements of these accelerators to grow. Spiking Neural Networks (SNNs) are an emerging alternative to CNN implementations, promising higher resource and energy efficiency. The main research question addressed in this paper is whether SNN accelerators truly meet these expectations of reduced energy requirements compared to their CNN equivalents. For this purpose, we analyze multiple SNN hardware accelerators for FPGAs regarding performance and energy efficiency. We present a novel encoding scheme of spike event queues and a novel memory organization technique to improve SNN energy efficiency further. Both techniques have been integrated into a state-of-the-art SNN architecture and evaluated for MNIST, SVHN, and CIFAR-10 datasets and corresponding network architectures on two differently sized modern FPGA platforms. For small-scale benchmarks such as MNIST, SNN designs provide rather no or little latency and energy efficiency advantages over corresponding CNN implementations. For more complex benchmarks such as SVHN and CIFAR-10, the trend reverses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google