A Comprehensive Study on Post-Training Quantization for Large Language Models

要約

トレーニング後の量子化 (\ptq) は、大規模な言語モデルのメモリ消費や計算コストを削減するための妥協的な方法として最近示されました。
ただし、さまざまな量子化スキーム、さまざまなモデル ファミリー、さまざまな \ptq メソッド、さまざまな量子化ビット精度などの影響に関する包括的な研究はまだありません。
この作業では、数万回のゼロショット実験でこれらのコンポーネントに関する広範な研究を提供します。
私たちの結果は、(1) 良好な精度を達成するためには、(1) 細かい量子化と \ptq 法 (単純な四捨五入量子化の代わりに) が必要であり、(2) 粗い量子化によるより高いビット (たとえば 5 ビット) が必要であることを示しています。
非常にきめの細かい量子化 (有効なビットは 5 ビットに似ています) により、下位ビット (4 ビットなど) よりも強力です。
また、さまざまなサイズの \llms の量子化を利用する方法についての推奨事項を提示し、この作業で解決されていない将来の機会とシステム作業の提案を残します。

要約(オリジナル)

Post-training quantization (\ptq) had been recently shown as a compromising method to reduce the memory consumption and/or compute cost for large language models. However, a comprehensive study about the effect of different quantization schemes, different model families, different \ptq methods, different quantization bit precision, etc, is still missing. In this work, we provide an extensive study on those components over tens of thousands of zero-shot experiments. Our results show that (1) Fine-grained quantization and \ptq methods (instead of naive round-to-nearest quantization) are necessary to achieve good accuracy and (2) Higher bits (e.g., 5 bits) with coarse-grained quantization is more powerful than lower bits (e.g., 4 bits) with very fine-grained quantization (whose effective bits is similar to 5-bits). We also present recommendations about how to utilize quantization for \llms with different sizes, and leave suggestions of future opportunities and system work that are not resolved in this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google