ZeroQuant-FP: A Leap Forward in LLMs Post-Training W4A8 Quantization Using Floating-Point Formats

要約

大規模言語モデル (LLM) の複雑な領域では、計算効率とモデルの品質維持のバランスを取ることが非常に困難な課題です。
この研究は、特に外れ値を扱う場合に、均一な量子化に固有の制限を克服し、NVIDIA の H100 ハードウェアの発売を動機として、潜在的なソリューションとして、特に FP8 と FP4 に焦点を当てた浮動小数点 (FP) 量子化の実現可能性を掘り下げています。
私たちの包括的な調査により、LLM の場合、FP8 のアクティベーションは常に整数 (INT8) の同等のものを上回り、10 億を超えるパラメーターを持つモデルではパフォーマンスの優位性がより顕著になることが明らかになりました。
重みの量子化については、FP4 が INT4 に勝るとは言えないまでも同等のパフォーマンスを示し、H100 などの FP がサポートするハードウェアへの展開が簡素化されることが調査結果からわかりました。
重みとアクティベーション間の不一致によって引き起こされる精度調整によるオーバーヘッドを軽減するために、標準の W4A8 モデルと比較してパフォーマンスにほとんど影響を与えない重み量子化の 2 つのスケーリング制約を提案します。
さらに、低ランク補償 (LoRC) 戦略を統合することで量子化方法を強化し、特に小規模なモデルで改善をもたらしました。
私たちの調査の結果は、LLM の FP 量子化の計り知れない可能性を強調し、リソースが限られた設定で高効率の展開への道を開くものです。

要約(オリジナル)

In the complex domain of large language models (LLMs), striking a balance between computational efficiency and maintaining model quality is a formidable challenge. Navigating the inherent limitations of uniform quantization, particularly when dealing with outliers, and motivated by the launch of NVIDIA’s H100 hardware, this study delves into the viability of floating-point (FP) quantization, particularly focusing on FP8 and FP4, as a potential solution. Our comprehensive investigation reveals that for LLMs, FP8 activation consistently outshines its integer (INT8) equivalent, with the performance edge becoming more noticeable in models possessing parameters beyond one billion. For weight quantization, our findings indicate that FP4 exhibits comparable, if not superior, performance to INT4, simplifying deployment on FP-supported hardware like H100. To mitigate the overhead from precision alignment caused by the disparity between weights and activations, we propose two scaling constraints for weight quantization that negligibly impact the performance compared to the standard W4A8 model. We additionally enhance our quantization methods by integrating the Low Rank Compensation (LoRC) strategy, yielding improvements especially in smaller models. The results of our investigation emphasize the immense potential of FP quantization for LLMs, paving the way for high-efficiency deployment in resource-limited settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google