Norm Tweaking: High-performance Low-bit Quantization of Large Language Models

要約

大規模言語モデル (LLM) のサイズが増大し続けるにつれて、精度を犠牲にすることなくモデルを圧縮することが、展開における重要な課題となっています。
GPTQ などの一部の量子化方法は、許容可能な 4 ビットの重みのみの量子化を達成する点で進歩していますが、より低いビットの量子化を試みると、多くの場合、重大なパフォーマンスの低下が発生します。
このペーパーでは、コスト効率を高めながら高精度を達成するために、現在の PTQ メソッドのプラグインとして使用できるノルム調整と呼ばれる手法を紹介します。
私たちのアプローチは、量子化されたアクティベーション分布を浮動小数点数の対応物と一致するように修正することで、LLM の精度を容易に回復できるという観察からインスピレーションを得ています。
これを達成するために、より一般化を高めるために正規化層の重みを更新するためのキャリブレーション データの生成とチャネルごとの距離制約を含む微調整戦略を慎重に設計します。
私たちは、いくつかのオープンソース LLM を使用して、さまざまなデータセットに対して広範な実験を行っています。
私たちの方法は、重みのみの量子化と重みとアクティベーションの結合量子化の両方において大幅な改善を示し、既存の PTQ 方法を上回っています。
GLM-130B および OPT-66B では、私たちの方法は 2 ビット量子化で浮動小数点の場合と同じレベルの精度さえ達成します。
私たちのシンプルかつ効果的なアプローチにより、現実世界のアプリケーションでより実用的になります。

要約(オリジナル)

As the size of large language models (LLMs) continues to grow, model compression without sacrificing accuracy has become a crucial challenge for deployment. While some quantization methods, such as GPTQ, have made progress in achieving acceptable 4-bit weight-only quantization, attempts at lower bit quantization often result in severe performance degradation. In this paper, we introduce a technique called norm tweaking, which can be used as a plugin in current PTQ methods to achieve high precision while being cost-efficient. Our approach is inspired by the observation that rectifying the quantized activation distribution to match its float counterpart can readily restore accuracy for LLMs. To achieve this, we carefully design a tweaking strategy that includes calibration data generation and channel-wise distance constraint to update the weights of normalization layers for better generalization. We conduct extensive experiments on various datasets using several open-sourced LLMs. Our method demonstrates significant improvements in both weight-only quantization and joint quantization of weights and activations, surpassing existing PTQ methods. On GLM-130B and OPT-66B, our method even achieves the same level of accuracy at 2-bit quantization as their float ones. Our simple and effective approach makes it more practical for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google