SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression

要約

Large Language Model (LLM) の進歩は、そのサイズが大きいために妨げられており、実際の展開には LLM 圧縮方法が必要です。
特異値分解 (SVD) は、LLM 圧縮に有望なソリューションを提供します。
ただし、最先端の SVD ベースの LLM 圧縮方法には、2 つの重要な制限があります。1 つは、より小さい特異値を切り捨てると、圧縮損失が大きくなる可能性があること、もう 1 つは、SVD 切り捨て後に圧縮された重みが更新されないことです。
この研究では、既存の方法の制限に対処する新しい SVD ベースの LLM 圧縮方法である SVD-LLM を提案します。
SVD-LLM には、切り捨てを意識したデータ ホワイトニング戦略が組み込まれており、特異値と圧縮損失の間の直接マッピングが保証されます。
さらに、SVD-LLM は、層ごとの閉形式モデルのパラメーター更新戦略を採用し、高圧縮率での精度の低下を補償します。
4 つの異なるスケールで、3 つの異なる LLM ファミリーからの合計 10 のデータセットと 8 つのモデルで SVD-LLM を評価します。
私たちの結果は、特に高いモデル圧縮率において、SVD-LLM が最新技術よりも優れていることを示しています。

要約(オリジナル)

The advancements in Large Language Models (LLMs) have been hindered by their substantial sizes, which necessitate LLM compression methods for practical deployment. Singular Value Decomposition (SVD) offers a promising solution for LLM compression. However, state-of-the-art SVD-based LLM compression methods have two key limitations: truncating smaller singular values may lead to higher compression loss, and the lack of update on the compressed weight after SVD truncation. In this work, we propose SVD-LLM, a new SVD-based LLM compression method that addresses the limitations of existing methods. SVD-LLM incorporates a truncation-aware data whitening strategy to ensure a direct mapping between singular values and compression loss. Moreover, SVD-LLM adopts a layer-wise closed-form model parameter update strategy to compensate for accuracy degradation under high compression ratios. We evaluate SVD-LLM on a total of 10 datasets and eight models from three different LLM families at four different scales. Our results demonstrate the superiority of SVD-LLM over state-of-the-arts, especially at high model compression ratios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google