OneBit: Towards Extremely Low-bit Large Language Models

要約

モデルの定量化では、低いビット幅の値を使用して、量子化される既存のモデルの重み行列を表します。これは、非常に期待されている LLM の展開に伴うストレージと計算のオーバーヘッドの両方を削減する有望なアプローチです。
ただし、現在の量子化方法では、ビット幅が極端に小さくなるとパフォーマンスが大幅に低下するため、モデルを量子化するために 4 ビットまたは 8 ビットの値を利用することに重点が置かれています。
この論文は、LLM の重み行列を 1 ビットに大胆に量子化し、LLM の極度に低いビット幅の展開への道を開きます。
この目標に対して、OneBit という名前の 1 ビット モデル圧縮フレームワークを導入します。これには、LLM をより適切に量子化するための新しい 1 ビット パラメータ表現方法と、量子化フレームワークの収束速度を向上させる行列分解に基づく効果的なパラメータ初期化方法が含まれます。
。
十分な実験結果は、OneBit が 1 ビットの重み行列のみを使用する場合、堅牢なトレーニング プロセスで良好なパフォーマンス (LLaMA モデルの非量子化パフォーマンスの少なくとも 81%) を達成することを示しています。

要約(オリジナル)

Model quantification uses low bit-width values to represent the weight matrices of existing models to be quantized, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, current quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit model compressing framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the quantization framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 81% of the non-quantized performance on LLaMA models) with robust training processes when only using 1-bit weight matrices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google