Understanding the Effect of Model Compression on Social Bias in Large Language Models

要約

大規模言語モデル (LLM) は、Web テキストの膨大なコーパスを対象として自己監視しながらトレーニングされ、そのテキストの社会的バイアスに適合します。
介入がなければ、これらの社会的バイアスは下流のタスクにおけるモデルの予測に残り、表現上の損害につながります。
事前トレーニング中に学習した不適切な社会的偏見の影響を軽減するために、多くの戦略が提案されています。
同時に、LLM の計算負荷を軽減するために、モデル圧縮の方法がますます普及してきました。
両方のアプローチの人気と必要性にもかかわらず、これら 2 つの間の相互作用を調査するための研究はほとんど行われていません。
私たちは、量子化と知識の蒸留によるモデル圧縮が LLM の社会的バイアスの尺度に及ぼす影響について、慎重に制御された研究を実行します。
事前トレーニングが長くなり、モデルが大規模になると、社会的バイアスが大きくなり、量子化では、元の事前トレーニング時間の約 20% で最良のトレードオフとなる正則化効果が示されました。

要約(オリジナル)

Large Language Models (LLMs) trained with self-supervision on vast corpora of web text fit to the social biases of that text. Without intervention, these social biases persist in the model’s predictions in downstream tasks, leading to representational harm. Many strategies have been proposed to mitigate the effects of inappropriate social biases learned during pretraining. Simultaneously, methods for model compression have become increasingly popular to reduce the computational burden of LLMs. Despite the popularity and need for both approaches, little work has been done to explore the interplay between these two. We perform a carefully controlled study of the impact of model compression via quantization and knowledge distillation on measures of social bias in LLMs. Longer pretraining and larger models led to higher social bias, and quantization showed a regularizer effect with its best trade-off around 20% of the original pretraining time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google