Wanda++: Pruning Large Language Models via Regional Gradients

要約

大規模な言語モデル（LLMS）剪定は、パフォーマンスへの影響を最小限に抑えて、推論のスピードアップのために重要でない重みを削除しようとしています。
ただし、既存の方法は、フルモデルのスパースを意識する微調整なしにパフォーマンスの損失に苦しむことがよくあります。
このペーパーでは、デコーダーブロックレベル\ TextBF {Regional}勾配を利用して最先端の方法を上回る新しい剪定フレームワークであるWanda ++を紹介します。
具体的には、Wanda ++は、地域の勾配で初めて剪定スコアを改善し、高密度とスパースデコーダー出力の間の剪定誘導出力の不一致を最小限に抑えるための効率的な地域最適化方法を提案します。
特に、Wanda ++は、言語モデリングタスクでWandaよりも最大32 \％の困惑を改善し、ダウンストリームタスクに効果的に一般化します。
さらなる実験では、提案された方法は、ワンダ++をロラの微調整と組み合わせて、ワンダ法と同様の困惑の改善を達成することができるスパースを意識する微調整に直交することを示しています。
提案された方法は軽量であり、単一のNVIDIA H100 GPUで10分以内に7Bラマモデルを剪定します。

要約(オリジナル)

Large Language Models (LLMs) pruning seeks to remove unimportant weights for inference speedup with minimal performance impact. However, existing methods often suffer from performance loss without full-model sparsity-aware fine-tuning. This paper presents Wanda++, a novel pruning framework that outperforms the state-of-the-art methods by utilizing decoder-block-level \textbf{regional} gradients. Specifically, Wanda++ improves the pruning score with regional gradients for the first time and proposes an efficient regional optimization method to minimize pruning-induced output discrepancies between the dense and sparse decoder output. Notably, Wanda++ improves perplexity by up to 32\% over Wanda in the language modeling task and generalizes effectively to downstream tasks. Further experiments indicate our proposed method is orthogonal to sparsity-aware fine-tuning, where Wanda++ can be combined with LoRA fine-tuning to achieve a similar perplexity improvement as the Wanda method. The proposed method is lightweight, pruning a 7B LLaMA model in under 10 minutes on a single NVIDIA H100 GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google