Dynamic Stashing Quantization for Efficient Transformer Training

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクで印象的なパフォーマンスを示しています。
残念ながら、LLM トレーニングに必要な膨大な量の計算とメモリ アクセスは、ハードウェア コストの点で法外に高くつくため、オンデバイス学習などのユース ケースに展開するのは困難です。
このホワイト ペーパーでは、LLM トレーニングがメモリ バウンドであるという観察に動機付けられて、Dynamic Stash Quantization (DSQ) と呼ばれる新しい動的量子化戦略を提案します。
算術コストの削減など、精度の低いトレーニング。
2 つの翻訳タスク (ゼロからトレーニング) と 3 つの分類タスク (微調整) について徹底的な調査を行います。
DSQ は、デバイス上の学習で広く使用されている標準の 16 ビット固定小数点と比較して、IWSLT17 で算術演算の量を $20.95\times$、DRAM 操作の数を $2.55\times$ 削減します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive performance on a range of Natural Language Processing (NLP) tasks. Unfortunately, the immense amount of computations and memory accesses required for LLM training makes them prohibitively expensive in terms of hardware cost, and thus challenging to deploy in use cases such as on-device learning. In this paper, motivated by the observation that LLM training is memory-bound, we propose a novel dynamic quantization strategy, termed Dynamic Stashing Quantization (DSQ), that puts a special focus on reducing the memory operations, but also enjoys the other benefits of low precision training, such as the reduced arithmetic cost. We conduct a thorough study on two translation tasks (trained-from-scratch) and three classification tasks (fine-tuning). DSQ reduces the amount of arithmetic operations by $20.95\times$ and the number of DRAM operations by $2.55\times$ on IWSLT17 compared to the standard 16-bit fixed-point, which is widely used in on-device learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google