How Different Is Stereotypical Bias Across Languages?

要約

最近の研究では、事前トレーニングされた英語モデルの固定観念のバイアスを評価する方法が実証されました。
この研究では、(a) 複数の異なる言語におけるバイアスに関して、(a) 異なる基礎となるアーキテクチャの単言語および多言語モデルを体系的に調査することにより、この研究分野を複数の異なる次元に拡張します。
そのために、英語の StereoSet データ セット (Nadeem et al.、2021) を利用し、これをドイツ語、フランス語、スペイン語、トルコ語に半自動的に翻訳します。
私たちの実験では、英語のみの分析との顕著な違いだけでなく、はるかに微妙な状況が示されているため、多言語環境でこの種の分析を行うことが非常に重要であることがわかりました。
私たちの分析から得られる主なポイントは、mGPT-2 が（部分的に）言語間で驚くべき反固定概念的な動作を示し、英語（単言語）モデルが最も強い偏りを示し、データセットに反映されている固定概念がトルコ語モデルには最も少ないということです。
最後に、私たちの作業を他の言語にさらに拡張することを促進するために、翻訳されたデータセットと半自動翻訳の実践的なガイドラインとともにコードベースをリリースします。

要約(オリジナル)

Recent studies have demonstrated how to assess the stereotypical bias in pre-trained English language models. In this work, we extend this branch of research in multiple different dimensions by systematically investigating (a) mono- and multilingual models of (b) different underlying architectures with respect to their bias in (c) multiple different languages. To that end, we make use of the English StereoSet data set (Nadeem et al., 2021), which we semi-automatically translate into German, French, Spanish, and Turkish. We find that it is of major importance to conduct this type of analysis in a multilingual setting, as our experiments show a much more nuanced picture as well as notable differences from the English-only analysis. The main takeaways from our analysis are that mGPT-2 (partly) shows surprising anti-stereotypical behavior across languages, English (monolingual) models exhibit the strongest bias, and the stereotypes reflected in the data set are least present in Turkish models. Finally, we release our codebase alongside the translated data sets and practical guidelines for the semi-automatic translation to encourage a further extension of our work to other languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google