Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation

要約

ニューラル機械翻訳 (NMT) モデルは、最先端の機械翻訳です。
ただし、これらのモデルにはさまざまな社会的バイアス、特にジェンダーバイアスがあることが知られています。
NMT におけるジェンダーバイアスの評価に関する研究のほとんどは、主にソース言語としての英語に焦点を当ててきました。
英語とは異なるソース言語の場合、ほとんどの研究ではジェンダー中立的な文章を使用してジェンダーバイアスを評価しています。
しかし、実際には、私たちが目にする多くの文には性別に関する情報が含まれています。
したがって、そのような文を使用してバイアスを評価する方が合理的です。
これにより、NMT モデルが、職業用語などとの偏った相関関係に依存するのではなく、ソース文内の文法的な性別の手がかりに基づいて正しい性別を識別できるかどうかを判断できます。
私たちの主張を実証するために、この作業では、ソース言語としてヒンディー語を使用し、異なるヒンディー語-英語 (HI-EN) NMT システムを自動的に評価するために使用する、OTSC-ヒンディー語と WinoMT-ヒンディー語という 2 つの性別固有の文のセットを構築します。
ジェンダーバイアスについて。
私たちの研究は、このような外部バイアス評価データセットを設計する際に、言語の性質を考慮することの重要性を強調しています。

要約(オリジナル)

Neural Machine Translation (NMT) models are state-of-the-art for machine translation. However, these models are known to have various social biases, especially gender bias. Most of the work on evaluating gender bias in NMT has focused primarily on English as the source language. For source languages different from English, most of the studies use gender-neutral sentences to evaluate gender bias. However, practically, many sentences that we encounter do have gender information. Therefore, it makes more sense to evaluate for bias using such sentences. This allows us to determine if NMT models can identify the correct gender based on the grammatical gender cues in the source sentence rather than relying on biased correlations with, say, occupation terms. To demonstrate our point, in this work, we use Hindi as the source language and construct two sets of gender-specific sentences: OTSC-Hindi and WinoMT-Hindi that we use to evaluate different Hindi-English (HI-EN) NMT systems automatically for gender bias. Our work highlights the importance of considering the nature of language when designing such extrinsic bias evaluation datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google