ResSVD: Residual Compensated SVD for Large Language Model Compression

要約

大規模な言語モデル（LLMS）は、幅広い下流の自然言語処理タスクで印象的な能力を実証しています。
それにもかかわらず、彼らのかなりのサイズとメモリの要求は、実用的な展開を妨げ、効率的な圧縮戦略を開発することの重要性を強調しています。
特異値分解（SVD）は、マトリックスを直交成分に分解し、効率的な低ランク近似を可能にします。
これは、重量マトリックスが著しい冗長性を示すことが多いLLM圧縮に特に適しています。
ただし、現在のSVDベースの方法は、切り捨てから残留マトリックスを無視しているため、重大な切り捨て喪失をもたらします。
さらに、モデルのすべての層を圧縮すると、激しい性能劣化が発生します。
これらの制限を克服するために、新しいトレーニング後のSVDベースのLLM圧縮法であるRESSVDを提案します。
具体的には、切り捨てプロセス中に生成された残留マトリックスを活用して、切り捨ての損失を減らします。
さらに、固定された全体的な圧縮率の下で、モデルの最後の数層を選択的に圧縮します。これにより、エラーの伝播が軽減され、圧縮モデルのパフォーマンスが大幅に向上します。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capabilities in a wide range of downstream natural language processing tasks. Nevertheless, their considerable sizes and memory demands hinder practical deployment, underscoring the importance of developing efficient compression strategies. Singular value decomposition (SVD) decomposes a matrix into orthogonal components, enabling efficient low-rank approximation. This is particularly suitable for LLM compression, where weight matrices often exhibit significant redundancy. However, current SVD-based methods neglect the residual matrix from truncation, resulting in significant truncation loss. Additionally, compressing all layers of the model results in severe performance degradation. To overcome these limitations, we propose ResSVD, a new post-training SVD-based LLM compression method. Specifically, we leverage the residual matrix generated during the truncation process to reduce truncation loss. Moreover, under a fixed overall compression ratio, we selectively compress the last few layers of the model, which mitigates error propagation and significantly improves the performance of compressed models.Comprehensive evaluations of ResSVD on diverse LLM families and multiple benchmark datasets indicate that ResSVD consistently achieves superior performance over existing counterpart methods, demonstrating its practical effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google