Measuring Gender Bias in West Slavic Language Models

要約

【タイトル】 西スラブ語言語モデルにおけるジェンダーバイアスの測定

【要約】

– 事前学習された言語モデルは、下流のタスクにおいて基礎となるデータセットの偏りを引き継ぐことが知られている。
– しかし、これらの研究は主に英語の単一言語モデルに基づいており、英語以外の言語においてバイアスがエンコードされた言語モデルに関する調査的な研究はほとんどない。
– この論文では、西スラブ語言語モデルのジェンダーバイアスを分析することで、このギャップを埋める。
– わたしたちは、男性、女性、非バイナリの対象に向けたジェンダーバイアスを測定するために、チェコ語、ポーランド語、スロバキア語に関する最初のテンプレートベースのデータセットを導入した。
– mono-およびmultilingual言語モデルを使用して文を完了し、マスク言語モデルの目的に適しているかどうかを評価した。
– 次に、生成された単語の有害性とジェンダー性を定量化することで、西スラブ語言語モデルでエンコードされたジェンダーバイアスを測定した。
– わたしたちは、これらの言語モデルが、主語の性別に依存する、傷つけるような文を生成していることを発見した。
– 驚くべきことに、男性を主語とする場合、チェコ語、スロバキア語、ポーランド語の言語モデルが、暴力、死、病気に関連する完了をより多く生成することが理由であることが、調査の結果わかった。

要約(オリジナル)

Pre-trained language models have been known to perpetuate biases from the underlying datasets to downstream tasks. However, these findings are predominantly based on monolingual language models for English, whereas there are few investigative studies of biases encoded in language models for languages beyond English. In this paper, we fill this gap by analysing gender bias in West Slavic language models. We introduce the first template-based dataset in Czech, Polish, and Slovak for measuring gender bias towards male, female and non-binary subjects. We complete the sentences using both mono- and multilingual language models and assess their suitability for the masked language modelling objective. Next, we measure gender bias encoded in West Slavic language models by quantifying the toxicity and genderness of the generated words. We find that these language models produce hurtful completions that depend on the subject’s gender. Perhaps surprisingly, Czech, Slovak, and Polish language models produce more hurtful completions with men as subjects, which, upon inspection, we find is due to completions being related to violence, death, and sickness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI