Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation

要約

機械翻訳は、偏ったデータやアルゴリズムの影響を受けることが多く、システム出力に許容できないエラーが発生する可能性があります。
ジェンダー規範における偏りは調査されているが、MTシステムが社会的関係に関する偏りをエンコードしているかどうかについてはあまり知られていない。
「弁護士は妻にキスした」などの文。
いくつかの名詞性言語（スペイン語など）から生成されたテンプレート文を使用して、MT システムにおける同性関係に対するバイアスの程度を調査します。
3 つの人気のある MT サービスが、同性の名詞間の関係に関する文を正確に翻訳できないことがわかりました。
エラー率はコンテキストに応じて大きく異なります。
女性の割合が多い職業に言及した同性愛文は、翻訳の精度が低くなります。
私たちはこの研究を、社会的関係に関する NLP システムの本質的なバイアスの評価におけるケーススタディとして提供します。

要約(オリジナル)

Machine translation often suffers from biased data and algorithms that can lead to unacceptable errors in system output. While bias in gender norms has been investigated, less is known about whether MT systems encode bias about social relationships, e.g. sentences such as ‘the lawyer kissed her wife.’ We investigate the degree of bias against same-gender relationships in MT systems, using generated template sentences drawn from several noun-gender languages (e.g. Spanish). We find that three popular MT services consistently fail to accurately translate sentences concerning relationships between nouns of the same gender. The error rate varies considerably based on the context, e.g. same-gender sentences referencing high female-representation occupations are translated with lower accuracy. We provide this work as a case study in the evaluation of intrinsic bias in NLP systems, with respect to social relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google