BlockPruner: Fine-grained Pruning for Large Language Models

要約

大規模言語モデル (LLM) のサイズと複雑さが急速に増大するにつれて、そのトレーニングと推論に関連するコストが大幅に増加しています。
調査によると、LLM の特定のレイヤーにはかなりの冗長性があり、これらのレイヤーをプルーニングしても全体的なパフォーマンスへの影響は最小限に抑えられます。
この洞察に基づいてさまざまなレイヤー プルーニング手法が開発されてきましたが、それらは通常、レイヤー自体内のより詳細な冗長性を見落としています。
この論文では、LLM のアーキテクチャをさらに深く掘り下げ、マルチヘッド アテンション (MHA) ブロックとマルチレイヤー パーセプトロン (MLP) ブロックの冗長性をターゲットにすることで、よりきめの細かい枝刈りを実現できることを実証します。
私たちは、BlockPruner と呼ばれる、トレーニング不要の新しい構造化枝刈りアプローチを提案します。
既存のレイヤー プルーニング手法とは異なり、BlockPruner は各 Transformer レイヤーを MHA ブロックと MLP ブロックにセグメント化します。
次に、複雑性の尺度を使用してこれらのブロックの重要性を評価し、反復的な枝刈りのためのヒューリスティック検索を適用します。
私たちは BlockPruner をさまざまなサイズとアーキテクチャの LLM に適用し、幅広いダウンストリーム タスクにわたってそのパフォーマンスを検証しました。
実験結果は、BlockPruner が最先端のベースラインと比較して、よりきめ細かく効果的なプルーニングを実現することを示しています。

要約(オリジナル)

With the rapid growth in the size and complexity of large language models (LLMs), the costs associated with their training and inference have escalated significantly. Research indicates that certain layers in LLMs harbor substantial redundancy, and pruning these layers has minimal impact on the overall performance. While various layer pruning methods have been developed based on this insight, they generally overlook the finer-grained redundancies within the layers themselves. In this paper, we delve deeper into the architecture of LLMs and demonstrate that finer-grained pruning can be achieved by targeting redundancies in multi-head attention (MHA) and multi-layer perceptron (MLP) blocks. We propose a novel, training-free structured pruning approach called BlockPruner. Unlike existing layer pruning methods, BlockPruner segments each Transformer layer into MHA and MLP blocks. It then assesses the importance of these blocks using perplexity measures and applies a heuristic search for iterative pruning. We applied BlockPruner to LLMs of various sizes and architectures and validated its performance across a wide range of downstream tasks. Experimental results show that BlockPruner achieves more granular and effective pruning compared to state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google