SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression

要約

LLMの従来のモデル圧縮技術は、高いメモリ消費と遅い推論の課題に対処しますが、通常、精度を維持するために計算上の高価な再訓練が必要です。
対照的に、ワンショット圧縮方法は再訓練コストを排除しますが、密なモデルに匹敵する精度を達成するのに苦労しています。
このペーパーでは、ハードウェアに優しい量子化、スパース、低ランクの近似を統合プロセスに総合的に統合する新しいワンショット圧縮フレームワークであるSlimを紹介します。
まず、均一な量子化を適用できるようにする確率的アプローチ（スリムQuant）を使用して量子化プロセスを策定します。
次に、既存のワンショット剪定法を使用して、量子化された重量の上に半構造化されたスパースを適用します。
最後に、導入された集計された量子化とスパースエラーを補うために、低ランクアダプターの値を数学的に計算できるようにするユニークな変換性および加算機能を備えた新しい顕著性関数を使用します。
Slimは、4ビット重量量化を伴う2：4スパースでモデルの精度を最大5.66％（Llama-2-7b）に改善し、以前の方法を上回ります。
SLIMで圧縮されたモデルは、それぞれNVIDIA RTX3060およびA100 GPUで最大4.3倍と3.8倍に達します。
さらに、彼らは、密集した対応物と比較して、最大0.23倍のエンドツーエンドのメモリの減少を達成します。
また、微調整せずにSLIMと比較して、精度を最大1.66％（LLAMA-2-13B）にさらに改善するオプションのPEFTレシピも提案します。

要約(オリジナル)

Conventional model compression techniques for LLMs address high memory consumption and slow inference challenges but typically require computationally expensive retraining to preserve accuracy. In contrast, one-shot compression methods eliminate retraining cost, but struggle to achieve accuracy comparable to dense models. This paper presents SLIM, a new one-shot compression framework that holistically integrates hardware-friendly quantization, sparsity, and low-rank approximation into a unified process. First, we formulate the quantization process using a probabilistic approach (SLIM-Quant) that enables us to apply uniform quantization. Then, we use an existing one-shot pruning method to apply semi-structured sparsity on top of the quantized weights. Finally, to compensate for the introduced aggregated quantization and sparsity error, we use a novel saliency function with unique invertible and additive features that enables us to mathematically compute the value of low-rank adapters. SLIM improves model accuracy by up to 5.66% (LLaMA-2-7B) for 2:4 sparsity with 4-bit weight quantization, outperforming prior methods. Models compressed with SLIM achieve up to 4.3x and 3.8x on Nvidia RTX3060 and A100 GPUs, respectively. Additionally, they achieve up to 0.23x end-to-end memory reduction in comparison to their dense counterparts. We also propose an optional PEFT recipe that further improves accuracy by up to 1.66% (LLaMA-2-13B) compared to SLIM without fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google