Scaling Laws for Floating Point Quantization Training

要約

低精度トレーニングは、トレーニングと下流の推論コストの両方を削減するための効果的な戦略と見なされます。
精度のための以前のスケーリング法則は主に整数量子化に焦点を当てており、このシナリオでは、浮動小数点（FP）量子化の成分にあまり注意を払うため、LLM損失に適していません。
対照的に、FP量子化トレーニングはより一般的に生産において実装されていますが、研究は比較的表面的なものでした。
この論文では、FP量子化ターゲット、指数ビット、マンティッサビット、およびLLMモデルのFP量子化トレーニングパフォーマンスにおけるスケーリング係数の計算粒度の影響を徹底的に調査します。
正確なFP量子化統合スケーリング法則に加えて、コミュニティに貴重な提案も提供します。（1）指数ビットは、マンティッサビットよりもモデルパフォーマンスにわずかに貢献します。
さまざまなビット番号に対して最適な指数マンティッサビット比を提供します。これは、ハードウェアメーカーが将来の参照に利用できます。
（2）低精度LLMトレーニングにおける重要なデータサイズの形成を発見します。
重要なデータサイズを超えるトレーニングデータが多すぎると、LLMのパフォーマンスが逆に劣化します。
（3）最適なFP量子化精度は、計算能力に直接比例しますが、幅広い計算能力範囲内です。
最高のコストパフォーマンス精度は4〜8ビットの間にあるべきであると推定しています。

要約(オリジナル)

Low-precision training is considered an effective strategy for reducing both training and downstream inference costs. Previous scaling laws for precision mainly focus on integer quantization, which pay less attention to the constituents in floating-point (FP) quantization, and thus cannot well fit the LLM losses in this scenario. In contrast, while FP quantization training is more commonly implemented in production, it’s research has been relatively superficial. In this paper, we thoroughly explore the effects of FP quantization targets, exponent bits, mantissa bits, and the calculation granularity of the scaling factor in FP quantization training performance of LLM models. In addition to an accurate FP quantization unified scaling law, we also provide valuable suggestions for the community: (1) Exponent bits contribute slightly more to the model performance than mantissa bits. We provide the optimal exponent-mantissa bit ratio for different bit numbers, which is available for future reference by hardware manufacturers; (2) We discover the formation of the critical data size in low-precision LLM training. Too much training data exceeding the critical data size will inversely bring in degradation of LLM performance; (3) The optimal FP quantization precision is directly proportional to the computational power, but within a wide computational power range. We estimate that the best cost-performance precision should lie between 4-8 bits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google