ShortGPT: Layers in Large Language Models are More Redundant Than You Expect

要約

大規模言語モデル (LLM) のパフォーマンスが向上し続けるにつれて、そのサイズは大幅に増大しており、現在の LLM には数十億、さらには数兆のパラメーターが含まれています。
しかし、この研究では、LLM の多くの層が高い類似性を示し、一部の層はネットワーク機能において無視できる役割しか果たしていないことがわかりました。
この観察に基づいて、LLM の各レイヤーの重要性を測定するために、ブロック影響 (BI) と呼ばれる指標を定義します。
次に、単純なプルーニング アプローチであるレイヤー削除を提案します。このアプローチでは、LLM の冗長レイヤーを BI スコアに基づいて直接削除します。
実験では、ShortGPT と呼ばれる私たちの方法が、モデルの枝刈りにおいて以前の最先端 (SOTA) 方法よりも大幅に優れていることが実証されました。
さらに、ShortGPT は量子化のような方法と直交しているため、パラメータと計算をさらに削減できます。
より複雑なプルーニング手法ではなく、単純なレイヤーの削除によってより良い結果が得られるということは、モデル アーキテクチャに高度な冗長性があることを示唆しています。

要約(オリジナル)

As Large Language Models (LLMs) continue to advance in performance, their size has escalated significantly, with current LLMs containing billions or even trillions of parameters. However, in this study, we discovered that many layers of LLMs exhibit high similarity, and some layers play a negligible role in network functionality. Based on this observation, we define a metric called Block Influence (BI) to gauge the significance of each layer in LLMs. We then propose a straightforward pruning approach: layer removal, in which we directly delete the redundant layers in LLMs based on their BI scores. Experiments demonstrate that our method, which we call ShortGPT, significantly outperforms previous state-of-the-art (SOTA) methods in model pruning. Moreover, ShortGPT is orthogonal to quantization-like methods, enabling further reduction in parameters and computation. The ability to achieve better results through simple layer removal, as opposed to more complex pruning techniques, suggests a high degree of redundancy in the model architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google