Low-Rank Quantization-Aware Training for LLMs

要約

大規模言語モデル (LLM) は遍在していますが、計算量とメモリの需要が増大し続けるため、実際の展開は困難です。
量子化は、コンピューティングとメモリの効率を高める最も効果的な方法の 1 つです。
量子化対応トレーニング (QAT) 方法は、一般に最高の量子化パフォーマンスを生成しますが、潜在的にトレーニング時間が長くなり、過剰なメモリ使用量が発生する可能性があり、LLM に適用する場合には非現実的です。
パラメーター効率の良い微調整 (PEFT) および低ランク適応 (LoRA) の文献に触発され、LLM 用の軽量でメモリ効率の高い QAT アルゴリズムである LR-QAT を提案します。
LR-QAT は、予測パフォーマンスを犠牲にすることなくメモリを節約するために、次のいくつかのコンポーネントを採用しています。(a) 量子化グリッドを認識する低ランクの補助重み。
(b) 固定小数点またはダブルパック整数を使用するダウンキャスト演算子、および (c) チェックポイント処理。
ほとんどの関連作業とは異なり、私たちの方法 (i) は推論効率が高く、従来の PTQ と比較して追加のオーバーヘッドが発生しません。
(ii) 一般的な拡張事前トレーニング フレームワークと見なすことができます。これは、結果として得られるモデルをその後も下流のタスクに利用できることを意味します。
(iii) さまざまな量子化粒度、アクティベーション量子化などの幅広い量子化設定に適用でき、多くの PTQ 技術とシームレスに組み合わせることができます。
LR-QAT を LLaMA-2/3 および Mistral モデル ファミリに適用し、いくつかの下流タスクでの有効性を検証します。
私たちの方法は、一般的なトレーニング後量子化 (PTQ) アプローチよりも優れたパフォーマンスを発揮し、メモリ使用量の一部でフルモデル QAT と同じモデル パフォーマンスに達します。
具体的には、24 GB のメモリを備えた単一のコンシューマー グレードの GPU で 7B LLM をトレーニングできます。

要約(オリジナル)

Large language models (LLMs) are omnipresent, however their practical deployment is challenging due to their ever increasing computational and memory demands. Quantization is one of the most effective ways to make them more compute and memory efficient. Quantization-aware training (QAT) methods, generally produce the best quantized performance, however it comes at the cost of potentially long training time and excessive memory usage, making it impractical when applying for LLMs. Inspired by parameter-efficient fine-tuning (PEFT) and low-rank adaptation (LoRA) literature, we propose LR-QAT — a lightweight and memory-efficient QAT algorithm for LLMs. LR-QAT employs several components to save memory without sacrificing predictive performance: (a) low-rank auxiliary weights that are aware of the quantization grid; (b) a downcasting operator using fixed-point or double-packed integers and (c) checkpointing. Unlike most related work, our method (i) is inference-efficient, leading to no additional overhead compared to traditional PTQ; (ii) can be seen as a general extended pretraining framework, meaning that the resulting model can still be utilized for any downstream task afterwards; (iii) can be applied across a wide range of quantization settings, such as different choices quantization granularity, activation quantization, and seamlessly combined with many PTQ techniques. We apply LR-QAT to LLaMA-2/3 and Mistral model families and validate its effectiveness on several downstream tasks. Our method outperforms common post-training quantization (PTQ) approaches and reaches the same model performance as full-model QAT at the fraction of its memory usage. Specifically, we can train a 7B LLM on a single consumer grade GPU with 24GB of memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google