Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation

要約

ジェンダーバイアスは機械翻訳における重要な問題であり、バイアスを軽減する技術を開発するための継続的な研究努力につながっています。
ただし、ほとんどの研究は、多言語システムについてはあまり考慮せずに、バイリンガル モデルのバイアスを軽減することに焦点を当てています。
この論文では、単一の正しい翻訳が存在する明確なケースに対する多言語機械翻訳モデルのジェンダーバイアスの問題を特にターゲットにし、新しいアプローチに基づくバイアス緩和方法を提案します。
具体的には、文脈上の性別情報を非明示的な性別単語の表現にエンコードする、Gender-Aware Contrastive Learning (GACL) を提案します。
私たちの方法はターゲット言語に依存せず、微調整を通じて事前トレーニングされた多言語機械翻訳モデルに適用できます。
多言語評価を通じて、私たちのアプローチが翻訳パフォーマンスを妨げることなく、性別の精度を大幅に向上させることを示します。
また、組み込まれた性別情報の伝達が、性別の正確さに関して他のターゲット言語に利益をもたらすことも観察しています。
最後に、私たちの方法がさまざまなサイズのモデルに適用可能で有益であることを示します。

要約(オリジナル)

Gender bias is a significant issue in machine translation, leading to ongoing research efforts in developing bias mitigation techniques. However, most works focus on debiasing bilingual models without much consideration for multilingual systems. In this paper, we specifically target the gender bias issue of multilingual machine translation models for unambiguous cases where there is a single correct translation, and propose a bias mitigation method based on a novel approach. Specifically, we propose Gender-Aware Contrastive Learning, GACL, which encodes contextual gender information into the representations of non-explicit gender words. Our method is target language-agnostic and is applicable to pre-trained multilingual machine translation models via fine-tuning. Through multilingual evaluation, we show that our approach improves gender accuracy by a wide margin without hampering translation performance. We also observe that incorporated gender information transfers and benefits other target languages regarding gender accuracy. Finally, we demonstrate that our method is applicable and beneficial to models of various sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google