CompactifAI: Extreme Compression of Large Language Models using Quantum-Inspired Tensor Networks

要約

ChatGPT や LlaMA などの大規模言語モデル (LLM) は、生成型人工知能 (AI) において急速に進歩していますが、その巨大なサイズにより、膨大なトレーニングと推論のコスト、多大なエネルギー需要、オンサイト展開の制限などの重大な課題が生じています。
枝刈り、蒸留、低ランク近似などの従来の圧縮方法は、ネットワーク内の有効なニューロンの数を減らすことに重点を置いていますが、量子化は、ニューロンの数を固定したままモデル サイズを縮小するために、個々の重みの数値精度を下げることに重点を置いています。
これらの圧縮方法は実際には比較的成功していますが、ニューロンの数を切り捨てることが最適な戦略であると信じる説得力のある理由はありません。
これに関連して、このペーパーでは、量子にインスピレーションを得た Tensor ネットワークを使用した革新的な LLM 圧縮アプローチである CompactifAI を紹介します。これは、代わりにモデルの相関空間に焦点を当て、より制御され、洗練された、解釈可能なモデル圧縮を可能にします。
私たちの方法は多用途であり、他の圧縮技術と一緒に、または他の圧縮技術に加えて実装できます。
ベンチマークとして、CompactifAI と量子化を組み合わせることで、LlaMA 7B のメモリ サイズを 93% 削減し、パラメータ数も 70% 削減し、モデルのトレーニングを 50%、推論時間を 25% 高速化できることを実証します。
精度は 2% ～ 3% わずかに低下するだけで、今日他の圧縮技術で達成できるものをはるかに超えています。
私たちの方法では、洗練された層感度プロファイリングを実行することもでき、より深い層ほどテンソルネットワーク圧縮に適している傾向があることが示されており、これは、LLM パフォーマンスに対するこれらの層の非効率性に関する最近の観察と一致します。
私たちの結果は、標準的な LLM は実際には大幅に過剰パラメータ化されており、大きくする必要はまったくないことを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) such as ChatGPT and LlaMA are advancing rapidly in generative Artificial Intelligence (AI), but their immense size poses significant challenges, such as huge training and inference costs, substantial energy demands, and limitations for on-site deployment. Traditional compression methods such as pruning, distillation, and low-rank approximation focus on reducing the effective number of neurons in the network, while quantization focuses on reducing the numerical precision of individual weights to reduce the model size while keeping the number of neurons fixed. While these compression methods have been relatively successful in practice, there is no compelling reason to believe that truncating the number of neurons is an optimal strategy. In this context, this paper introduces CompactifAI, an innovative LLM compression approach using quantum-inspired Tensor Networks that focuses on the model’s correlation space instead, allowing for a more controlled, refined and interpretable model compression. Our method is versatile and can be implemented with – or on top of – other compression techniques. As a benchmark, we demonstrate that a combination of CompactifAI with quantization allows to reduce a 93% the memory size of LlaMA 7B, reducing also 70% the number of parameters, accelerating 50% the training and 25% the inference times of the model, and just with a small accuracy drop of 2% – 3%, going much beyond of what is achievable today by other compression techniques. Our methods also allow to perform a refined layer sensitivity profiling, showing that deeper layers tend to be more suitable for tensor network compression, which is compatible with recent observations on the ineffectiveness of those layers for LLM performance. Our results imply that standard LLMs are, in fact, heavily overparametrized, and do not need to be large at all.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google