Extreme Compression of Large Language Models via Additive Quantization

要約

正確なオープン大規模言語モデル (LLM) の出現により、エンドユーザー デバイスでの実行を可能にするそのようなモデルの量子化技術への競争が始まりました。
この論文では、マルチコードブック量子化 (MCQ) の古典的な手法の観点から、パラメータあたり 2 ～ 3 ビットなどの非常に低いビット数をターゲットとするものとして定義される「極端な」LLM 圧縮の問題を再検討します。
私たちの研究は、MCQ ファミリの古典的なアルゴリズムである加算量子化をベースに構築されており、それを言語モデルの量子化に適応させています。
結果として得られるアルゴリズムは、LLM 圧縮における最先端のものであり、特定の圧縮予算での精度の点で、最近提案されたすべての技術を上回ります。
たとえば、Llama 2 モデルをパラメーターあたり 2 ビットに圧縮する場合、アルゴリズムは 7B モデルを 6.93 パープレキシティ (過去の最良の研究と比較して 1.29 ポイントの改善、FP16 から 1.81 ポイント)、13B モデルを 5.70 パープレキシティ (a.
36 の改善）、WikiText2 では 70B モデルは 3.94 パープレキシティ (0.22 の改善) になりました。
LLM 量子化における将来の研究を促進するためのベースラインとして、言語モデル AQLM の加法量子化の実装をリリースします。

要約(オリジナル)

The emergence of accurate open large language models (LLMs) has led to a race towards quantization techniques for such models enabling execution on end-user devices. In this paper, we revisit the problem of ‘extreme’ LLM compression–defined as targeting extremely low bit counts, such as 2 to 3 bits per parameter, from the point of view of classic methods in Multi-Codebook Quantization (MCQ). Our work builds on top of Additive Quantization, a classic algorithm from the MCQ family, and adapts it to the quantization of language models. The resulting algorithm advances the state-of-the-art in LLM compression, outperforming all recently-proposed techniques in terms of accuracy at a given compression budget. For instance, when compressing Llama 2 models to 2 bits per parameter, our algorithm quantizes the 7B model to 6.93 perplexity (a 1.29 improvement relative to the best prior work, and 1.81 points from FP16), the 13B model to 5.70 perplexity (a .36 improvement) and the 70B model to 3.94 perplexity (a .22 improvement) on WikiText2. We release our implementation of Additive Quantization for Language Models AQLM as a baseline to facilitate future research in LLM quantization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google