StoX-Net: Stochastic Processing of Partial Sums for Efficient In-Memory Computing DNN Accelerators

要約

クロスバーベースのインメモリ コンピューティング (IMC) は、ディープ ニューラル ネットワーク (DNN) のハードウェア アクセラレーションのための有望なプラットフォームとして浮上しています。
ただし、IMC システムのエネルギーと遅延は、周辺機器のアナログ/デジタル コンバータ (ADC) の大きなオーバーヘッドによって支配されます。
このような ADC のボトルネックに対処するために、ここでは効率的な IMC のために配列レベルの部分和 (PS) の確率的処理を実装することを提案します。
提案された PS 処理は、スピン軌道トルク磁気トンネル接合の確率的スイッチングを利用して、高価な ADC を排除し、エネルギー効率と面積効率の大幅な向上を達成します。
精度の損失を軽減するために、確率的 PS 全体での後方伝播を可能にする PS 量子化対応トレーニングを開発します。
さらに,確率的変換のサンプリング長が不均一である新しい方式を提案した。
CIFAR-10 データセットで ResNet20 を実行する場合、当社のアーキテクチャとアルゴリズムの協調設計により、標準 ADC を使用した IMC と比較して、エネルギー、レイテンシ、面積がそれぞれ最大 16 倍、8 倍、10 倍向上することが実証されています。
確率的 PS を使用した最適化された設計構成は、さまざまなベンチマーク分類タスクでソフトウェアに近い精度を維持しながら、完全精度 ADC (スパース低ビット ADC) を使用した IMC と比較して、エネルギー遅延積で 130 倍 (24 倍) の改善を達成しました。

要約(オリジナル)

Crossbar-based in-memory computing (IMC) has emerged as a promising platform for hardware acceleration of deep neural networks (DNNs). However, the energy and latency of IMC systems are dominated by the large overhead of the peripheral analog-to-digital converters (ADCs). To address such ADC bottleneck, here we propose to implement stochastic processing of array-level partial sums (PS) for efficient IMC. Leveraging the probabilistic switching of spin-orbit torque magnetic tunnel junctions, the proposed PS processing eliminates the costly ADC, achieving significant improvement in energy and area efficiency. To mitigate accuracy loss, we develop PS-quantization-aware training that enables backward propagation across stochastic PS. Furthermore, a novel scheme with an inhomogeneous sampling length of the stochastic conversion is proposed. When running ResNet20 on the CIFAR-10 dataset, our architecture-to-algorithm co-design demonstrates up to 16x, 8x, and 10x improvement in energy, latency, and area, respectively, compared to IMC with standard ADC. Our optimized design configuration using stochastic PS achieved 130x (24x) improvement in Energy-Delay-Product compared to IMC with full precision ADC (sparse low-bit ADC), while maintaining near-software accuracy at various benchmark classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google