Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation

要約

最近の生成大規模言語モデル (LLM) は、英語以外の言語で顕著なパフォーマンスを示しますが、これらの言語でプロンプトを表示すると、より有害な社会的バイアスと毒性レベルを表現する傾向があります。
これまでの研究では、特殊なデータセットを微調整するとこの動作を軽減でき、英語で微調整すると他の言語に移行できることが示されています。
この研究では、さまざまな微調整方法がモデルのバイアスと毒性に与える影響だけでなく、流暢で多様なテキストを生成する能力にも与える影響を調査します。
私たちの結果は、厳選された無害なテキストの微調整がバイアスの軽減に効果的であり、直接選好最適化 (DPO) データセットの微調整が有害性の軽減に効果的であることを示しています。
これらの方法を英語で適用することによって生じる軽減は、英語以外の言語にも適用されます。
私たちは、モデルの事前トレーニング データに存在する特定の言語のデータ量によって、転送が行われる範囲を予測できるという証拠を発見しました。
しかし、このバイアスと毒性の軽減の移転は、英語以外の言語での言語生成能力の低下を犠牲にして行われることが多く、言語固有のバイアスと毒性の軽減方法を開発することの重要性が強調されています。

要約(オリジナル)

Recent generative large language models (LLMs) show remarkable performance in non-English languages, but when prompted in those languages they tend to express higher harmful social biases and toxicity levels. Prior work has shown that finetuning on specialized datasets can mitigate this behavior, and doing so in English can transfer to other languages. In this work, we investigate the impact of different finetuning methods on the model’s bias and toxicity, but also on its ability to produce fluent and diverse text. Our results show that finetuning on curated non-harmful text is more effective for mitigating bias, and finetuning on direct preference optimization (DPO) datasets is more effective for mitigating toxicity. The mitigation caused by applying these methods in English also transfers to non-English languages. We find evidence that the extent to which transfer takes place can be predicted by the amount of data in a given language present in the model’s pretraining data. However, this transfer of bias and toxicity mitigation often comes at the expense of decreased language generation ability in non-English languages, highlighting the importance of developing language-specific bias and toxicity mitigation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google