Pruning Large Language Models with Semi-Structural Adaptive Sparse Training

要約

トランスフォーマーベースの大規模言語モデル (LLM) は、さまざまな困難なタスクにわたって目覚ましい成功を収めています。
ただし、LLM の展開は、大量のパラメータ数とメモリ消費によって妨げられます。
最近、トレーニングを必要としない方法を使用して LLM を枝刈りすることにより、LLM を圧縮することが数多くの研究で試みられています。
ただし、これらのプルーニングされたモデルでは、複雑なタスクでパフォーマンスが大幅に低下することがよくあります。
この問題に対処するために、Adaptive Sparse Trainer (AST) という名前の、半構造化スパース モデル用の新しいトレーニング パイプラインを提案します。
高密度モデルに保存されている知識を抽出することにより、疎モデルの過学習を防ぎ、安定したトレーニング プロセスを保証します。
さらに、AST を使用すると、モデルはトレーニング中により適切な宝くじ (マスクなど) を適応的に選択できます。
さらに、適切に初期化されたパラメーターを追加すると、メモリ フットプリントをわずかに増加させるだけで、モデルのパフォーマンスをさらに向上できることがわかりました。
私たちの方法は、限られた計算コストを維持しながら、密なモデルと疎なモデルの間のパフォーマンスのギャップを大幅に縮小します。
さらに、既存の量子化手法と組み合わせると、AST はパフォーマンスの損失を最小限に抑えながら、高密度 FP32 精度モデルと比較して言語モデルを最大 16 倍圧縮できます。
AST は、事前トレーニング トークンの 0.4% 未満を使用して、Llama2-7B 上の複数のゼロショット タスクにわたって、密モデルと半構造疎モデル間のゼロショット精度の差を 1.12% に削減することで、以前の最先端の手法を上回ります。
。

要約(オリジナル)

Transformer-based Large Language Models (LLMs) have demonstrated remarkable success across various challenging tasks. However, the deployment of LLMs is hindered by their substantial parameter count and memory consumption. Recently, numerous studies have attempted to compress LLMs by pruning them using training-free methods. However, these pruned models often experience significant performance degradation on complex tasks. To address this issue, we propose a novel training pipeline for semi-structured sparse models, named Adaptive Sparse Trainer (AST). By distilling the knowledge stored in its dense counterpart, we prevent the sparse model from overfitting and ensure a stable training process. Moreover, AST allows the model to adaptively select better lottery tickets (e.g., masks) during training. Additionally, we discovered that adding extra well-initialized parameters can further enhance model performance with only a small increase in memory footprint. Our method significantly narrows the performance gap between dense and sparse models while maintaining limited computational cost. Furthermore, when combined with existing quantization methods, AST can compress language models by up to 16x compared to dense FP32 precision models with minimal performance loss. AST outperforms previous state-of-the-art methods by reducing the zero-shot accuracy gap between dense and semi-structured sparse models to 1.12% across multiple zero-shot tasks on Llama2-7B, using less than 0.4% of the pretraining tokens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google