ROSAQ: Rotation-based Saliency-Aware Weight Quantization for Efficiently Compressing Large Language Models

要約

量子化は、大規模な言語モデル（LLM）のメモリ要件を減らすための効果的な手法として広く研究されており、潜在的に遅延時間を改善しています。
変圧器の回転不変性の特性を利用して、回転ベースの顕著性対応体重量子化（Rosaq）を提案します。これは、投影された「主要な」寸法が自然に「顕著な」特徴と見なされる元の特徴空間ではなく、投影機能空間で顕著なチャネルを識別します。
提案されたRosaqは、1）PCAベースの投影で構成されており、最初にキャリブレーションセットで主成分分析（PCA）を実行し、PCAプロジェクション、2）Salient Channel Dentificationを介して変換されます。
実験結果は、Rosaqが元の特徴空間やその他の既存の量子化方法でのベースラインの顕著性量子化の改善を示していることを示しています。
カーネルフュージョンにより、Rosaqは、64のバッチサイズの256トークンを生成するFP16実装で約2.3倍の速度を上げます。

要約(オリジナル)

Quantization has been widely studied as an effective technique for reducing the memory requirement of large language models (LLMs), potentially improving the latency time as well. Utilizing the characteristic of rotational invariance of transformer, we propose the rotation-based saliency-aware weight quantization (ROSAQ), which identifies salient channels in the projection feature space, not in the original feature space, where the projected ‘principal’ dimensions are naturally considered as ‘salient’ features. The proposed ROSAQ consists of 1) PCA-based projection, which first performs principal component analysis (PCA) on a calibration set and transforms via the PCA projection, 2) Salient channel dentification, which selects dimensions corresponding to the K-largest eigenvalues as salient channels, and 3) Saliency-aware quantization with mixed-precision, which uses FP16 for salient dimensions and INT3/4 for other dimensions. Experiment results show that ROSAQ shows improvements over the baseline saliency-aware quantization on the original feature space and other existing quantization methods. With kernel fusion, ROSAQ presents about 2.3x speed up over FP16 implementation in generating 256 tokens with a batch size of 64.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google