Mitigating Outlier Activations in Low-Precision Fine-Tuning of Language Models

要約

言語モデルの低精度微調整は、さまざまなアプリケーションに大規模なモデルを展開するためのコスト効率とエネルギー効率の高いアプローチとして注目を集めています。
ただし、このアプローチは、アクティベーション時に外れ値が存在する可能性があります。
アクティベーションの異常値は、スケーリング係数に影響を及ぼし、より小さな値の表現を難しくするため、低精度領域での言語モデルの微調整のパフォーマンスに悪影響を与える可能性があります。
この論文では、言語モデルの低精度整数微調整における外れ値の活性化を軽減する手法を調査します。
私たちが提案した新しいアプローチにより、外れ値のアクティベーション値を浮動小数点 (FP16) 値ではなく 8 ビット整数で表すことができます。
外れ値に整数を使用する利点は、演算子タイリングを使用して 16 ビット整数行列の乗算の実行を回避し、この問題に効果的に対処できることです。
私たちは、低精度で微調整された言語モデルの堅牢性とパフォーマンスを向上させるアプローチの有効性を実証するために、理論的分析とサポート実験を提供します。

要約(オリジナル)

Low-precision fine-tuning of language models has gained prominence as a cost-effective and energy-efficient approach to deploying large-scale models in various applications. However, this approach is susceptible to the existence of outlier values in activation. The outlier values in the activation can negatively affect the performance of fine-tuning language models in the low-precision regime since they affect the scaling factor and thus make representing smaller values harder. This paper investigates techniques for mitigating outlier activation in low-precision integer fine-tuning of the language models. Our proposed novel approach enables us to represent the outlier activation values in 8-bit integers instead of floating-point (FP16) values. The benefit of using integers for outlier values is that it enables us to use operator tiling to avoid performing 16-bit integer matrix multiplication to address this problem effectively. We provide theoretical analysis and supporting experiments to demonstrate the effectiveness of our approach in improving the robustness and performance of low-precision fine-tuned language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google