Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words

要約

ジェンダーバイアスは、機械翻訳と言語モデルにおけるバイアスの研究において焦点となってきました。
既存の機械翻訳のジェンダーバイアス評価は主に男性と女性の性別に焦点を当てており、評価の範囲が限られています。
ジェンダーバイアスを正確に評価するために、これらの研究は多くの場合、性別代名詞の正確さ、または職業や感情語（明確な肯定的または否定的な態度）によって引き起こされる固定概念を介した文法上の性別の男性的および女性的属性の計算に依存しています。
非バイナリグループには拡張できません。
この研究では、二元的な性別を超えたジェンダーバイアスを評価するベンチマーク AmbGIMT (曖昧な態度言葉によるジェンダー包括的機械翻訳) を紹介します。
一方、私たちは、曖昧な態度の言葉を定量化するために使用される感情的態度スコア（EAS）に基づいてジェンダーバイアスを評価する新しいプロセスを提案します。
最近の 3 つの効果的なオープンソース LLM と 1 つの強力な多言語翻訳に特化したモデルを評価したとき、私たちの主な観察結果は次のとおりです。 (1) 非バイナリ性別コンテキスト内での翻訳パフォーマンスは、翻訳品質の点で著しく劣っており、他の言語に比べてより否定的な態度を示しています。
バイナリジェンダーの文脈。
(2) 分析実験は、性同一性用語のプロンプトに制約コンテキストを組み込むと、翻訳バイアスを大幅に低減できる一方、制約が存在するにもかかわらずバイアスが依然として明らかであることを示しています。
コードは \url{https://github.com/pppa2019/ambGIMT} で公開されています。

要約(オリジナル)

Gender bias has been a focal point in the study of bias in machine translation and language models. Existing machine translation gender bias evaluations are primarily focused on male and female genders, limiting the scope of the evaluation. To assess gender bias accurately, these studies often rely on calculating the accuracy of gender pronouns or the masculine and feminine attributes of grammatical gender via the stereotypes triggered by occupations or sentiment words ({\em i.e.}, clear positive or negative attitude), which cannot extend to non-binary groups. This study presents a benchmark AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words), which assesses gender bias beyond binary gender. Meanwhile, we propose a novel process to evaluate gender bias based on the Emotional Attitude Score (EAS), which is used to quantify ambiguous attitude words. In evaluating three recent and effective open-source LLMs and one powerful multilingual translation-specific model, our main observations are: (1) The translation performance within non-binary gender contexts is markedly inferior in terms of translation quality and exhibits more negative attitudes than binary-gender contexts. (2) The analysis experiments indicate that incorporating constraint context in prompts for gender identity terms can substantially reduce translation bias, while the bias remains evident despite the presence of the constraints. The code is publicly available at \url{https://github.com/pppa2019/ambGIMT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google