Sparse Fine-tuning for Inference Acceleration of Large Language Models

要約

大規模言語モデル (LLM) の正確なスパース微調整の問題、つまり、重みのスパース性を誘導しながら、特殊なタスクで事前トレーニングされた LLM を微調整する問題を検討します。
精度の面では、特に高いスパース性において、標準的な損失ベースの微調整では精度を回復できない可能性があることが観察されています。
これに対処するために、私たちは蒸留タイプの損失の詳細な研究を実行し、すべてのモデル タイプにわたって、より高いスパース性でも正確な回収を可能にする、SquareHead と呼ばれる L2 ベースの蒸留アプローチを決定します。
実際の効率の面では、CPU ランタイムと GPU ランタイムの両方で、スパース LLM がスパース性を利用して高速化して実行できることを示します。
標準的なアプローチは、スパース性を利用して計算量を削減することですが、メモリバウンド LLM の場合、スパース性をメモリ帯域幅の削減にも活用できることがわかりました。
T5 (言語翻訳)、Whisper (音声翻訳)、およびオープン GPT タイプ (テキスト生成用の MPT) について、精度を回復しながらスパース性による高速化を示すエンドツーエンドの結果を示します。
MPT テキスト生成については、スパース微調整により精度を低下させることなく 75% のスパース性に到達できることを初めて示し、CPU と GPU 推論の両方で顕著なエンドツーエンドの高速化を実現し、スパース性が量子化アプローチとも互換性があることを強調しました。
。
結果を再現するためのモデルとソフトウェアはセクション 6 で提供されます。

要約(オリジナル)

We consider the problem of accurate sparse fine-tuning of large language models (LLMs), that is, fine-tuning pretrained LLMs on specialized tasks, while inducing sparsity in their weights. On the accuracy side, we observe that standard loss-based fine-tuning may fail to recover accuracy, especially at high sparsities. To address this, we perform a detailed study of distillation-type losses, determining an L2-based distillation approach we term SquareHead which enables accurate recovery even at higher sparsities, across all model types. On the practical efficiency side, we show that sparse LLMs can be executed with speedups by taking advantage of sparsity, for both CPU and GPU runtimes. While the standard approach is to leverage sparsity for computational reduction, we observe that in the case of memory-bound LLMs sparsity can also be leveraged for reducing memory bandwidth. We exhibit end-to-end results showing speedups due to sparsity, while recovering accuracy, on T5 (language translation), Whisper (speech translation), and open GPT-type (MPT for text generation). For MPT text generation, we show for the first time that sparse fine-tuning can reach 75% sparsity without accuracy drops, provide notable end-to-end speedups for both CPU and GPU inference, and highlight that sparsity is also compatible with quantization approaches. Models and software for reproducing our results are provided in Section 6.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google