FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity

要約

大規模な言語モデル（LLM）は、翻訳タスクのためにますます活用されていますが、包括的な言語を翻訳する場合は不足しています。
これらの課題は計算ドメインと社会的ドメインの両方に及ぶため、LLMが包括的なフレームワークで包括的な翻訳をどのように処理するかを批判的に評価することが不可欠です。
このホワイトペーパーでは、英語からフランス語への機械翻訳システムの非バイナリ性別バイアスを評価するために設計された、新規で完全に人間が注文したデータセットであるフェアトランスレートを紹介します。
フェアトランスレートには、職業に関連する2418の英語とフランスの文のペアが含まれ、職業のステレオタイプの整合性、文法的な性別指標のあいまいさ、地上の真実のジェンダーラベル（男性、女性、または包括的）などの豊富なメタデータが注釈されています。
このデータセットで、さまざまなプロンプト手順の下で、このデータセットで、4つの主要なLLMS（GEMMA2-2B、Mistral-7B、llama3.1-8b、llama3.3-70b）を評価します。
私たちの結果は、LLMS全体の性別の表現におけるかなりの偏見を明らかにし、機械翻訳で公平な結果を達成する際の永続的な課題を強調しています。
これらの調査結果は、LLMベースの翻訳システムで公正かつ包括的な言語使用を確保することを目的とした集中的な戦略と介入の必要性を強調しています。
フェアトランスレートのデータセットをハグする顔で公開され、GitHubでのすべての実験のコードを開示します。

要約(オリジナル)

Large Language Models (LLMs) are increasingly leveraged for translation tasks but often fall short when translating inclusive language — such as texts containing the singular ‘they’ pronoun or otherwise reflecting fair linguistic protocols. Because these challenges span both computational and societal domains, it is imperative to critically evaluate how well LLMs handle inclusive translation with a well-founded framework. This paper presents FairTranslate, a novel, fully human-annotated dataset designed to evaluate non-binary gender biases in machine translation systems from English to French. FairTranslate includes 2418 English-French sentence pairs related to occupations, annotated with rich metadata such as the stereotypical alignment of the occupation, grammatical gender indicator ambiguity, and the ground-truth gender label (male, female, or inclusive). We evaluate four leading LLMs (Gemma2-2B, Mistral-7B, Llama3.1-8B, Llama3.3-70B) on this dataset under different prompting procedures. Our results reveal substantial biases in gender representation across LLMs, highlighting persistent challenges in achieving equitable outcomes in machine translation. These findings underscore the need for focused strategies and interventions aimed at ensuring fair and inclusive language usage in LLM-based translation systems. We make the FairTranslate dataset publicly available on Hugging Face, and disclose the code for all experiments on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google