BitNet a4.8: 4-bit Activations for 1-bit LLMs

要約

BitNet b1.58 などの 1 ビット大規模言語モデル (LLM) に関する最近の研究は、パフォーマンスを維持しながら LLM の推論コストを削減するための有望な方向性を示しています。
この作業では、1 ビット LLM の 4 ビット アクティベーションを可能にする BitNet a4.8 を導入します。
BitNet a4.8 は、外れ値チャネルによってもたらされる量子化エラーを軽減するために、ハイブリッド量子化およびスパース化戦略を採用しています。
具体的には、アテンションおよびフィードフォワード ネットワーク層への入力に 4 ビット アクティベーションを利用し、中間状態をスパース化し、その後に 8 ビット量子化を行います。
広範な実験により、BitNet a4.8 は同等のトレーニング コストで BitNet b1.58 に匹敵するパフォーマンスを達成し、同時に 4 ビット (INT4/FP4) カーネルを有効にすることで推論が高速化していることが実証されました。
さらに、BitNet a4.8 はパラメータの 55% のみをアクティブにし、3 ビット KV キャッシュをサポートするため、大規模な LLM の展開と推論の効率がさらに向上します。

要約(オリジナル)

Recent research on the 1-bit Large Language Models (LLMs), such as BitNet b1.58, presents a promising direction for reducing the inference cost of LLMs while maintaining their performance. In this work, we introduce BitNet a4.8, enabling 4-bit activations for 1-bit LLMs. BitNet a4.8 employs a hybrid quantization and sparsification strategy to mitigate the quantization errors introduced by the outlier channels. Specifically, we utilize 4-bit activations for inputs to the attention and feed-forward network layers, while sparsifying intermediate states followed with 8-bit quantization. Extensive experiments demonstrate that BitNet a4.8 achieves performance comparable to BitNet b1.58 with equivalent training costs, while being faster in inference with enabling 4-bit (INT4/FP4) kernels. Additionally, BitNet a4.8 activates only 55% of parameters and supports 3-bit KV cache, further enhancing the efficiency of large-scale LLM deployment and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google