ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks

要約

トランスフォーマーは、自然言語処理 (NLP) とコンピューター ビジョンのための強力なツールとして登場しました。
これらのモデルは、アテンション メカニズムにより、リカレント ニューラル ネットワーク (RNN) や畳み込みニューラル ネットワーク (CNN) などの従来のアプローチと比較して、顕著なパフォーマンスの向上を示しました。
それにもかかわらず、トランスフォーマーは通常、大規模な計算と大きなメモリ占有量のため、かなりの実行時間を必要とします。
インメモリ処理 (PIM) およびニアメモリ コンピューティング (NMC) は、高い計算並列性とメモリ帯域幅を提供するため、トランスを加速するための有望なソリューションです。
ただし、トランスフォーマー ニューラル ネットワークのレイヤー間で移動する必要がある複雑な操作と大量のデータをサポートする PIM/NMC アーキテクチャを設計することは依然として課題です。
私たちは、変圧器モデル用のアナログと確率論の混合 DRAM アクセラレータである ARTEMIS を提案します。
ARTEMIS は、従来の DRAM アレイへの最小限の変更を採用することで、新しい DRAM 内メタル オン メタル コンデンサを使用した乗算および時間的アナログ累積の確率的計算をサポートすることで、トランス モデルの実行に関連するコストを効率的に軽減します。
当社の分析によると、ARTEMIS は、GPU、TPU、CPU、最先端の PIM トランスフォーマー ハードウェア アクセラレータと比較して、少なくとも 3.0 倍の高速化、1.8 倍のエネルギー削減、および 1.9 倍のエネルギー効率の向上を示しています。

要約(オリジナル)

Transformers have emerged as a powerful tool for natural language processing (NLP) and computer vision. Through the attention mechanism, these models have exhibited remarkable performance gains when compared to conventional approaches like recurrent neural networks (RNNs) and convolutional neural networks (CNNs). Nevertheless, transformers typically demand substantial execution time due to their extensive computations and large memory footprint. Processing in-memory (PIM) and near-memory computing (NMC) are promising solutions to accelerating transformers as they offer high compute parallelism and memory bandwidth. However, designing PIM/NMC architectures to support the complex operations and massive amounts of data that need to be moved between layers in transformer neural networks remains a challenge. We propose ARTEMIS, a mixed analog-stochastic in-DRAM accelerator for transformer models. Through employing minimal changes to the conventional DRAM arrays, ARTEMIS efficiently alleviates the costs associated with transformer model execution by supporting stochastic computing for multiplications and temporal analog accumulations using a novel in-DRAM metal-on-metal capacitor. Our analysis indicates that ARTEMIS exhibits at least 3.0x speedup, 1.8x lower energy, and 1.9x better energy efficiency compared to GPU, TPU, CPU, and state-of-the-art PIM transformer hardware accelerators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google