Using Artificial French Data to Understand the Emergence of Gender Bias in Transformer Language Models

要約

多数の研究により、神経言語モデルが直接の監督なしでさまざまな言語特性を学習できることが実証されています。
この研究は、ニューラル モデルが性別などの単語の言語特性とその使用を管理するルールをどのように発見するかという、あまり研究されていないトピックを探求するための最初の一歩となります。
私たちは、フランス語に基づいた PCFG によって生成された人工コーパスを使用して、トレーニング データ内の性別分布を正確に制御し、どのような条件下でモデルが性別情報を正しく捉えているか、または逆に性別に偏っているように見えるかを判断することを提案します。

要約(オリジナル)

Numerous studies have demonstrated the ability of neural language models to learn various linguistic properties without direct supervision. This work takes an initial step towards exploring the less researched topic of how neural models discover linguistic properties of words, such as gender, as well as the rules governing their usage. We propose to use an artificial corpus generated by a PCFG based on French to precisely control the gender distribution in the training data and determine under which conditions a model correctly captures gender information or, on the contrary, appears gender-biased.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google