OWQ: Lessons learned from activation outliers for weight quantization in large language models

要約

数千億のパラメータを持つ大規模言語モデル (LLM) は、推論のために強力なサーバーグレードの GPU を必要とするため、実際の展開が制限されます。
この課題に対処するために、外れ値を考慮した重み量子化 (OWQ) 手法を導入します。これは、低精度の表現を通じて LLM のフットプリントを最小限に抑えることを目的としています。
OWQ は、量子化の影響を受けやすい構造化重みの小さなサブセットを優先し、それらを高精度で保存しながら、高度に調整された量子化を残りの密な重みに適用します。
この感度を意識した混合精度スキームにより量子化誤差が大幅に減少し、広範な実験により、OWQ を使用した 3.1 ビット モデルが OPTQ によって最適化された 4 ビット モデルと同等のパフォーマンスを発揮することが実証されました。
さらに、OWQ には、ウィークカラムチューニング (WCT) と呼ばれるタスク固有の適応のためのパラメーター効率の高い微調整が組み込まれており、最適化された形式で最小限のメモリオーバーヘッドで正確なタスク固有の LLM 適応を可能にします。
OWQ は、LLM 最適化文献の柔軟性、効率性、実用性における顕著な進歩を表しています。
ソース コードは https://github.com/xvyaward/owq で入手できます。

要約(オリジナル)

Large language models (LLMs) with hundreds of billions of parameters require powerful server-grade GPUs for inference, limiting their practical deployment. To address this challenge, we introduce the outlier-aware weight quantization (OWQ) method, which aims to minimize LLM’s footprint through low-precision representation. OWQ prioritizes a small subset of structured weights sensitive to quantization, storing them in high-precision, while applying highly tuned quantization to the remaining dense weights. This sensitivity-aware mixed-precision scheme reduces the quantization error notably, and extensive experiments demonstrate that 3.1-bit models using OWQ perform comparably to 4-bit models optimized by OPTQ. Furthermore, OWQ incorporates a parameter-efficient fine-tuning for task-specific adaptation, called weak column tuning (WCT), enabling accurate task-specific LLM adaptation with minimal memory overhead in the optimized format. OWQ represents a notable advancement in the flexibility, efficiency, and practicality of LLM optimization literature. The source code is available at https://github.com/xvyaward/owq

arxiv情報

提供元, 利用サービス

arxiv.jp, Google