SupeRBNN: Randomized Binary Neural Network Using Adiabatic Superconductor Josephson Devices

要約

断熱量子磁束パラメトロン (AQFP) は、非常に高いエネルギー効率を備えた超伝導ロジックです。
電流の異なる極性を使用して論理「0」と「1」を表すことにより、AQFP デバイスはバイナリ ニューラル ネットワーク (BNN) 計算の優れたキャリアとして機能します。
最近の研究では、AQFP ベースの BNN アクセラレータの開発に向けて最初の進歩を遂げましたが、いくつかの重要な課題が残されており、設計が包括的なソリューションになることが妨げられています。
この論文では、AQFP ベースのランダム化 BNN 加速フレームワークである SuperRBNN を提案します。これは、ソフトウェアとハ​​ードウェアの協調最適化を活用して、最終的に AQFP デバイスを BNN 加速の実現可能なソリューションにするものです。
具体的には、AQFP デバイスのランダム化された動作を調査し、電流減衰に対するクロスバー サイズの影響を分析し、その後、電流振幅を BNN 計算での使用に適した値に定式化します。
累積問題に取り組み、ハードウェア全体のパフォーマンスを向上させるために、確率計算ベースの累積モジュールとクロック方式調整ベースの回路最適化方法を提案します。
私たちは、CMOS、ReRAM、超電導 RSFQ/ERSFQ などのさまざまなテクノロジーに基づく実装と比較しながら、さまざまなデータセットやネットワーク アーキテクチャにわたって SuperRBNN フレームワークを検証します。
実験結果は、私たちの設計が、同レベルのモデル精度を維持しながら、ReRAM ベースの BNN フレームワークよりも約 7.8×10^4 倍高いエネルギー効率を達成することを示しています。
さらに、超伝導体ベースの対応物と比較した場合、私たちのフレームワークは少なくとも 2 桁高いエネルギー効率を示しています。

要約(オリジナル)

Adiabatic Quantum-Flux-Parametron (AQFP) is a superconducting logic with extremely high energy efficiency. By employing the distinct polarity of current to denote logic `0′ and `1′, AQFP devices serve as excellent carriers for binary neural network (BNN) computations. Although recent research has made initial strides toward developing an AQFP-based BNN accelerator, several critical challenges remain, preventing the design from being a comprehensive solution. In this paper, we propose SupeRBNN, an AQFP-based randomized BNN acceleration framework that leverages software-hardware co-optimization to eventually make the AQFP devices a feasible solution for BNN acceleration. Specifically, we investigate the randomized behavior of the AQFP devices and analyze the impact of crossbar size on current attenuation, subsequently formulating the current amplitude into the values suitable for use in BNN computation. To tackle the accumulation problem and improve overall hardware performance, we propose a stochastic computing-based accumulation module and a clocking scheme adjustment-based circuit optimization method. We validate our SupeRBNN framework across various datasets and network architectures, comparing it with implementations based on different technologies, including CMOS, ReRAM, and superconducting RSFQ/ERSFQ. Experimental results demonstrate that our design achieves an energy efficiency of approximately 7.8×10^4 times higher than that of the ReRAM-based BNN framework while maintaining a similar level of model accuracy. Furthermore, when compared with superconductor-based counterparts, our framework demonstrates at least two orders of magnitude higher energy efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google