FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity

要約

大規模言語モデル（LLM）は翻訳タスクにますます活用されるようになってきているが、単数形の「彼ら」代名詞を含むテキストや、公正な言語プロトコルを反映したテキストなど、インクルーシブな言語を翻訳する際には、しばしば不足が生じる。このような課題は計算と社会の両領域にまたがるため、LLMがどの程度包括的な翻訳を扱えるかを、根拠のあるフレームワークで批判的に評価することが不可欠である。 本論文では、英語からフランス語への機械翻訳システムにおける非二元性バイアスを評価するために設計された、完全に人間による注釈付きの新しいデータセットであるFairTranslateを紹介する。FairTranslateは職業に関連する2418の英仏文ペアを含み、職業のステレオタイプ的アライメント、文法的性別指示の曖昧さ、真実の性別ラベル（男性、女性、包括的）などの豊富なメタデータで注釈されている。 我々は4つの主要なLLM（Gemma2-2B、Mistral-7B、Llama3.1-8B、Llama3.3-70B）を、異なるプロンプト手順の下で、このデータセット上で評価した。その結果、LLM間のジェンダー表現に大きな偏りがあることが明らかになり、機械翻訳において公平な結果を達成するための根強い課題が浮き彫りになった。これらの結果は、LLMベースの翻訳システムにおいて、公平で包括的な言語使用を保証することを目的とした、集中的な戦略と介入の必要性を強調している。 私たちはFairTranslateデータセットをHugging Faceで公開し、すべての実験のコードをGitHubで公開しています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly leveraged for translation tasks but often fall short when translating inclusive language — such as texts containing the singular ‘they’ pronoun or otherwise reflecting fair linguistic protocols. Because these challenges span both computational and societal domains, it is imperative to critically evaluate how well LLMs handle inclusive translation with a well-founded framework. This paper presents FairTranslate, a novel, fully human-annotated dataset designed to evaluate non-binary gender biases in machine translation systems from English to French. FairTranslate includes 2418 English-French sentence pairs related to occupations, annotated with rich metadata such as the stereotypical alignment of the occupation, grammatical gender indicator ambiguity, and the ground-truth gender label (male, female, or inclusive). We evaluate four leading LLMs (Gemma2-2B, Mistral-7B, Llama3.1-8B, Llama3.3-70B) on this dataset under different prompting procedures. Our results reveal substantial biases in gender representation across LLMs, highlighting persistent challenges in achieving equitable outcomes in machine translation. These findings underscore the need for focused strategies and interventions aimed at ensuring fair and inclusive language usage in LLM-based translation systems. We make the FairTranslate dataset publicly available on Hugging Face, and disclose the code for all experiments on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL