A Simple and Effective Pruning Approach for Large Language Models

要約

大規模言語モデル（Large Languages Models: LLM）は、そのサイズが大きくなるにつれて、ネットワーク刈り込み手法の自然な候補となる。しかし、既存の手法では、再学習が必要であり、10億規模のLLMでは、再学習はほとんど不可能であるか、あるいは、2次情報に依存する重み再構成問題を解く必要があり、計算コストがかかる。本論文では、Wanda(Pruning by Weights and activations)と呼ばれる、新しい、簡単で効果的な刈り込み手法を紹介する。LLMに出現する大きな大きさの特徴の最近の観察に動機づけられ、我々のアプローチは、対応する入力活性度と掛け合わされた最小の大きさの重みを、出力毎に刈り込む。注目すべきは、Wandaは再トレーニングや重みの更新を必要とせず、刈り込まれたLLMはそのまま使用できることである。我々は、様々な言語ベンチマークにおけるLLaMAとLLaMA-2上で我々の手法Wandaの徹底的な評価を行う。Wandaは、確立されたマグニチュード刈り込みのベースラインを大幅に上回り、集中的な重み更新を含む最近の手法に対して競争力のある性能を発揮します。コードはhttps://github.com/locuslab/wanda。

要約(オリジナル)

As their size increases, Large Languages Models (LLMs) are natural candidates for network pruning methods: approaches that drop a subset of network weights while striving to preserve performance. Existing methods, however, require either retraining, which is rarely affordable for billion-scale LLMs, or solving a weight reconstruction problem reliant on second-order information, which may also be computationally expensive. In this paper, we introduce a novel, straightforward yet effective pruning method, termed Wanda (Pruning by Weights and activations), designed to induce sparsity in pretrained LLMs. Motivated by the recent observation of emergent large magnitude features in LLMs, our approach prunes weights with the smallest magnitudes multiplied by the corresponding input activations, on a per-output basis. Notably, Wanda requires no retraining or weight update, and the pruned LLM can be used as is. We conduct a thorough evaluation of our method Wanda on LLaMA and LLaMA-2 across various language benchmarks. Wanda significantly outperforms the established baseline of magnitude pruning and performs competitively against recent method involving intensive weight update. Code is available at https://github.com/locuslab/wanda.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL