Are We Paying Attention to Her? Investigating Gender Disambiguation and Attention in Machine Translation

要約

現代のニューラル機械翻訳（NMT）システムの性別バイアスは多くの注目を集めていますが、従来の評価メトリックは、これらのシステムがコンテキストの性別の手がかりを統合する程度を完全に捉えていません。
私たちは、性別の乱用のためのジェンダーキューに対するモデルの依存を測定する最小ペア精度（MPA）と呼ばれる新しい評価メトリックを提案します。
MPAは、モデルが最小限のペアで性別の手がかりに適応するかどうかに焦点を当てることにより、表面レベルの性別の精度メトリックを超えるように設計されています – 性別の代名詞のみ、つまりターゲットのエンティティの性別の明示的な指標（EN）の明示的な指標だけが異なる文のペア。
このメトリックを使用して、英語のイタリア語（en– it）言語ペアで多くのNMTモデルを評価します。ほとんどの場合、（統計的）ステレオタイプの性別解釈を支持して、利用可能な性別の手がかりを無視していることを示します。
さらに、反ステレオタイプの場合、これらのモデルは、女性的な手がかりを無視しながら、男性の性別の手がかりをより一貫して考慮に入れる傾向があることを示しています。
さらに、エンコーダコンポーネントの注意ヘッドウェイトを分析し、すべてのモデルが性別情報をある程度エンコードしている一方で、男性のキューが女性の性別のキューに対するより集中した専門的な反応と比較して、より拡散した応答を引き出すことを示します。

要約(オリジナル)

While gender bias in modern Neural Machine Translation (NMT) systems has received much attention, traditional evaluation metrics do not to fully capture the extent to which these systems integrate contextual gender cues. We propose a novel evaluation metric called Minimal Pair Accuracy (MPA), which measures the reliance of models on gender cues for gender disambiguation. MPA is designed to go beyond surface-level gender accuracy metrics by focusing on whether models adapt to gender cues in minimal pairs — sentence pairs that differ solely in the gendered pronoun, namely the explicit indicator of the target’s entity gender in the source language (EN). We evaluate a number of NMT models on the English-Italian (EN–IT) language pair using this metric, we show that they ignore available gender cues in most cases in favor of (statistical) stereotypical gender interpretation. We further show that in anti-stereotypical cases, these models tend to more consistently take masculine gender cues into account while ignoring the feminine cues. Furthermore, we analyze the attention head weights in the encoder component and show that while all models encode gender information to some extent, masculine cues elicit a more diffused response compared to the more concentrated and specialized responses to feminine gender cues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google