MoDeGPT: Modular Decomposition for Large Language Model Compression

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れたパフォーマンスを実証することで、人工知能の状況を再構築しました。
ただし、大量の計算要件があるため、リソースが限られたデバイスでの展開は困難になります。
最近、低ランク行列技術を使用した圧縮方法が有望であることが示されていますが、これらは精度の低下を招いたり、パラメータや推論レイテンシーに重大なオーバーヘッドをもたらしたりすることがよくあります。
この文書では、上記の欠点を解決しながら回復の微調整を必要としない、新しい構造化圧縮フレームワークである \textbf{Mo}dular \textbf{De}composition (MoDeGPT) を紹介します。
MoDeGPT は、Transformer ブロックを行列ペアで構成されるモジュールに分割し、モジュール レベルの出力を再構築することで隠れた次元を削減します。
MoDeGPT は、Nystr\’om 近似、CR 分解、SVD という 3 つの確立された行列分解アルゴリズムを利用する理論的フレームワークに基づいて開発され、それらを再定義された変換モジュールに適用します。
私たちの包括的な実験では、MoDeGPT が逆方向伝播を行わず、勾配情報に依存する以前の構造化圧縮方法と同等かそれを上回り、13B モデルの圧縮にかかる計算コストを 98% 節約できることが示されています。
\textsc{Llama}-2/3 および OPT モデルでは、MoDeGPT は 25 ～ 30% の圧縮率で 90 ～ 95% のゼロショット パフォーマンスを維持します。
さらに、圧縮は単一の GPU で数時間以内に実行でき、推論のスループットが最大 46% 向上します。

要約(オリジナル)

Large Language Models (LLMs) have reshaped the landscape of artificial intelligence by demonstrating exceptional performance across various tasks. However, substantial computational requirements make their deployment challenging on devices with limited resources. Recently, compression methods using low-rank matrix techniques have shown promise, yet these often lead to degraded accuracy or introduce significant overhead in parameters and inference latency. This paper introduces \textbf{Mo}dular \textbf{De}composition (MoDeGPT), a novel structured compression framework that does not need recovery fine-tuning while resolving the above drawbacks. MoDeGPT partitions the Transformer block into modules comprised of matrix pairs and reduces the hidden dimensions via reconstructing the module-level outputs. MoDeGPT is developed based on a theoretical framework that utilizes three well-established matrix decomposition algorithms — Nystr\’om approximation, CR decomposition, and SVD — and applies them to our redefined transformer modules. Our comprehensive experiments show MoDeGPT, without backward propagation, matches or surpasses previous structured compression methods that rely on gradient information, and saves 98% of compute costs on compressing a 13B model. On \textsc{Llama}-2/3 and OPT models, MoDeGPT maintains 90-95% zero-shot performance with 25-30% compression rates. Moreover, the compression can be done on a single GPU within a few hours and increases the inference throughput by up to 46%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google