Do Multilingual Large Language Models Mitigate Stereotype Bias?

要約

予備的な調査結果では、多言語 LLM は単言語 LLM と比較してバイアスが減少していることが示されていますが、バイアス軽減に対する多言語トレーニングの効果についての包括的な理解は不足しています。
この研究では、同じサイズ (2.6B パラメータ) とアーキテクチャの 6 つの LLM を体系的にトレーニングすることで、このギャップに対処しています。つまり、5 つの単言語モデル (英語、ドイツ語、フランス語、イタリア語、スペイン語) と、これらの言語にわたるデータの均等な分散でトレーニングされた 1 つの多言語モデルです。
、すべて公開されているデータを使用しています。
堅牢な評価を確保するために、標準バイアス ベンチマークが 5 つのターゲット言語に自動的に翻訳され、人間のアノテーターによって翻訳の品質とバイアスの保存の両方が検証されました。
私たちの結果は、多言語トレーニングが偏見を効果的に軽減することを一貫して示しています。
さらに、同じ量のトレーニング データ、モデル アーキテクチャ、サイズを持つ単言語モデルと比較した場合、多言語モデルはバイアスが低いだけでなく、優れた予測精度も達成していることが観察されています。

要約(オリジナル)

While preliminary findings indicate that multilingual LLMs exhibit reduced bias compared to monolingual ones, a comprehensive understanding of the effect of multilingual training on bias mitigation, is lacking. This study addresses this gap by systematically training six LLMs of identical size (2.6B parameters) and architecture: five monolingual models (English, German, French, Italian, and Spanish) and one multilingual model trained on an equal distribution of data across these languages, all using publicly available data. To ensure robust evaluation, standard bias benchmarks were automatically translated into the five target languages and verified for both translation quality and bias preservation by human annotators. Our results consistently demonstrate that multilingual training effectively mitigates bias. Moreover, we observe that multilingual models achieve not only lower bias but also superior prediction accuracy when compared to monolingual models with the same amount of training data, model architecture, and size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google