BitMoD: Bit-serial Mixture-of-Datatype LLM Acceleration

要約

大規模言語モデル (LLM) は、さまざまな機械学習タスクにわたって優れたパフォーマンスを実証しています。
しかし、LLM のメモリ占有量がかなり大きいため、その展開が大幅に妨げられます。
このペーパーでは、低重み精度で効率的な LLM アクセラレーションを可能にするアルゴリズムとハードウェアの共同設計ソリューションである BitMoD を通じて、LLM のアクセシビリティを向上させます。
アルゴリズム側では、BitMoD は、異なる数値データ型を使用して重みのグループ (たとえば、128) を量子化する、きめ細かいデータ型適応を導入します。
これらの新しいデータ型を慎重に設計することにより、BitMoD は高い精度を維持しながら、LLM 重みを非常に低い精度 (4 ビットや 3 ビットなど) に量子化できます。
ハードウェア側では、BitMoD はビットシリアル処理要素を採用して、複数の数値精度とデータ型を簡単にサポートします。
当社のハードウェア設計には 2 つの重要な革新が含まれています。1 つは、統一された表現を採用してさまざまな重みデータ タイプを処理するため、ハードウェア コストが削減されます。
第 2 に、ビットシリアル逆量子化ユニットを採用して、最小限のハードウェア オーバーヘッドでグループごとの部分和を再スケーリングします。
6 つの代表的な LLM に対する私たちの評価では、BitMoD が最先端の LLM 量子化および加速方法を大幅に上回っていることが実証されました。
識別タスクの場合、BitMoD は平均 $<\!0.5\%$ の精度損失で LLM 重みを 4 ビットに量子化できます。 生成タスクの場合、BitMoD は、以前の LLM 量子化スキームよりも優れたパープレキシティを達成しながら、LLM 重みを 3 ビットに量子化できます。 優れたモデルのパフォーマンスと効率的なアクセラレータ設計を組み合わせることで、BitMoD は、以前の LLM アクセラレータ ANT と OliVe と比較して、それぞれ平均 $1.69\times$ と $1.48\times$ の高速化を達成します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable performance across various machine learning tasks. Yet the substantial memory footprint of LLMs significantly hinders their deployment. In this paper, we improve the accessibility of LLMs through BitMoD, an algorithm-hardware co-design solution that enables efficient LLM acceleration at low weight precision. On the algorithm side, BitMoD introduces fine-grained data type adaptation that uses a different numerical data type to quantize a group of (e.g., 128) weights. Through the careful design of these new data types, BitMoD is able to quantize LLM weights to very low precision (e.g., 4 bits and 3 bits) while maintaining high accuracy. On the hardware side, BitMoD employs a bit-serial processing element to easily support multiple numerical precisions and data types; our hardware design includes two key innovations: First, it employs a unified representation to process different weight data types, thus reducing the hardware cost. Second, it adopts a bit-serial dequantization unit to rescale the per-group partial sum with minimal hardware overhead. Our evaluation on six representative LLMs demonstrates that BitMoD significantly outperforms state-of-the-art LLM quantization and acceleration methods. For discriminative tasks, BitMoD can quantize LLM weights to 4-bit with $<\!0.5\%$ accuracy loss on average. For generative tasks, BitMoD is able to quantize LLM weights to 3-bit while achieving better perplexity than prior LLM quantization scheme. Combining the superior model performance with an efficient accelerator design, BitMoD achieves an average of $1.69\times$ and $1.48\times$ speedups compared to prior LLM accelerators ANT and OliVe, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google