Measuring Gender Bias in West Slavic Language Models

要約

タイトル：西スラブ語の言語モデルにおけるジェンダーバイアスの測定

要約：
– Pre-trainingされた言語モデルは、下流タスクにおいて元のデータセットの偏りを引き継ぐという問題がある。
– しかしながら、これらの発見は主に英語の単一言語モデルに基づいており、英語以外の言語におけるバイアスの調査には不十分である。
– 本論文では、西スラブ語の言語モデルにおけるジェンダーバイアスを分析することで、この欠落を補う。
– われわれは、男性、女性、非バイナリ対象に対するジェンダーバイアスを測定するための、最初のテンプレートベースのデータセットをチェコ語、ポーランド語、スロバキア語で紹介する。
– 我々は、モノリンガルとマルチリンガルの言語モデルを使用して文章を完成させ、マスク言語モデリングの目的に適しているかを評価する。
– 次に、生成された単語の適切さを測定することで、西スラブ語の言語モデルにおけるジェンダーバイアスを測定する。
– 我々は、これらの言語モデルが主語の性別に依存して不快な文を生成することを発見した。
– 男性主体の場合、チェコ語、スロバキア語、ポーランド語の言語モデルはより不快な文を生成することがわかった。具体的には、文が暴力、死、病気に関係していることが原因である。

要約(オリジナル)

Pre-trained language models have been known to perpetuate biases from the underlying datasets to downstream tasks. However, these findings are predominantly based on monolingual language models for English, whereas there are few investigative studies of biases encoded in language models for languages beyond English. In this paper, we fill this gap by analysing gender bias in West Slavic language models. We introduce the first template-based dataset in Czech, Polish, and Slovak for measuring gender bias towards male, female and non-binary subjects. We complete the sentences using both mono- and multilingual language models and assess their suitability for the masked language modelling objective. Next, we measure gender bias encoded in West Slavic language models by quantifying the toxicity and genderness of the generated words. We find that these language models produce hurtful completions that depend on the subject’s gender. Perhaps surprisingly, Czech, Slovak, and Polish language models produce more hurtful completions with men as subjects, which, upon inspection, we find is due to completions being related to violence, death, and sickness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI