A Simple and Effective Pruning Approach for Large Language Models

要約

サイズが大きくなるにつれ、ネットワーク プルーニング手法の自然な候補として、ラージ言語モデル (LLM) が挙げられます。これは、パフォーマンスを維持しながらネットワークの重みのサブセットを削除するアプローチです。
ただし、既存の手法では、再トレーニングが必要ですが、これは 10 億規模の LLM ではほとんど実現できません。あるいは、二次情報に依存する重み再構成問題を解く必要があり、これも計算コストがかかる可能性があります。
この論文では、事前学習済み LLM でスパース性を誘発するように設計された、Wanda (重みとアクティベーションによる枝刈り) と呼ばれる、新しく、簡単で効果的な枝刈り方法を紹介します。
LLM における新たな大きな振幅の特徴の最近の観察に動機付けられた私たちのアプローチは、出力ごとに、対応する入力アクティベーションを乗算した最小振幅の重みを取り除きます。
特に、Wanda は再トレーニングや重みの更新を必要とせず、プルーニングされた LLM をそのまま使用できます。
私たちは、LLaMA および LLaMA-2 上のメソッド Wanda をさまざまな言語ベンチマークにわたって徹底的に評価しています。
Wanda は、確立されたマグニチュード プルーニングのベースラインを大幅に上回り、集中的な重み更新を伴う最近の方法と競合するパフォーマンスを示します。
コードは https://github.com/locuslab/wanda で入手できます。

要約(オリジナル)

As their size increases, Large Languages Models (LLMs) are natural candidates for network pruning methods: approaches that drop a subset of network weights while striving to preserve performance. Existing methods, however, require either retraining, which is rarely affordable for billion-scale LLMs, or solving a weight reconstruction problem reliant on second-order information, which may also be computationally expensive. In this paper, we introduce a novel, straightforward yet effective pruning method, termed Wanda (Pruning by Weights and activations), designed to induce sparsity in pretrained LLMs. Motivated by the recent observation of emergent large magnitude features in LLMs, our approach prunes weights with the smallest magnitudes multiplied by the corresponding input activations, on a per-output basis. Notably, Wanda requires no retraining or weight update, and the pruned LLM can be used as is. We conduct a thorough evaluation of our method Wanda on LLaMA and LLaMA-2 across various language benchmarks. Wanda significantly outperforms the established baseline of magnitude pruning and performs competitively against recent method involving intensive weight update. Code is available at https://github.com/locuslab/wanda.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google