Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation

要約

品質推定（QE） – 翻訳品質の自動評価 – は、データのキュレーションからトレーニングやデコードまで、翻訳パイプラインのいくつかの段階で最近重要になりました。
QEメトリックは、人間の判断に合わせて最適化されていますが、社会的バイアスをコードするかどうかはほとんど見過ごされています。
偏ったQEリスクは、視界と使いやすさのギャップを悪化させることにより、特定の人口統計グループを他の人に支持します。
このペーパーでは、QEメトリックのジェンダーバイアスを定義および調査し、機械翻訳（MT）に対する下流の影響について説明します。
複数のドメイン、データセット、言語にわたる最先端のQEメトリックを使用した実験では、重要なバイアスが明らかになります。
ソース内の人間のエンティティの性別が非公開の場合、男性的な翻訳が女性的に変化した翻訳よりも高いスコアが高く、性別中立翻訳が罰せられます。
コンテキストのキューが性別を非表示にした場合でも、コンテキストを使用するQEメトリックを使用すると、男性の指示物よりも女性の正しい翻訳の変曲を選ぶ際に、より多くのエラーが発生します。
さらに、バイアスされたQEメトリックは、データフィルタリングと品質認識デコードに影響します。
私たちの調査結果は、性別を中心としたQEメトリックの開発と評価に新たな焦点の必要性を強調しています。

要約(オリジナル)

Quality estimation (QE) — the automatic assessment of translation quality — has recently become crucial across several stages of the translation pipeline, from data curation to training and decoding. While QE metrics have been optimized to align with human judgments, whether they encode social biases has been largely overlooked. Biased QE risks favoring certain demographic groups over others, e.g., by exacerbating gaps in visibility and usability. This paper defines and investigates gender bias of QE metrics and discusses its downstream implications for machine translation (MT). Experiments with state-of-the-art QE metrics across multiple domains, datasets, and languages reveal significant bias. When a human entity’s gender in the source is undisclosed, masculine-inflected translations score higher than feminine-inflected ones and gender-neutral translations are penalized. Even when contextual cues disambiguate gender, using context-aware QE metrics leads to more errors in picking the correct translation inflection for feminine than masculine referents. Moreover, a biased QE metric affects data filtering and quality-aware decoding. Our findings highlight the need for renewed focus in developing and evaluating QE metrics centered around gender.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google