Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems

要約

機械翻訳 (MT) は品質において大幅な進歩を続けており、大規模に採用されることが増えています。
その結果、分析は、より微妙な側面、複雑な現象、および MT ツールの広範な使用から生じる可能性のある潜在的なリスクに向けられるようになりました。
この方針に沿って、この文書では、ジェンダー翻訳とバイアスに特に焦点を当てて、Google 翻訳、DeepL、Modern MT という 3 つの商用 MT システムを綿密に評価します。
3 つの言語ペア (英語/スペイン語、英語/イタリア語、英語/フランス語) について、翻訳時に自然に発生するさまざまなジェンダー現象について、いくつかの粒度レベルでそのようなシステムの動作を精査します。
私たちの研究では、3 つのシステムの性別翻訳における重大な矛盾を明らかにすることで、オンライン MT ツールの現状を評価しています。全体的な翻訳品質にもかかわらず、各システムはさまざまな程度の偏りを示しています。

要約(オリジナル)

Machine Translation (MT) continues to make significant strides in quality and is increasingly adopted on a larger scale. Consequently, analyses have been redirected to more nuanced aspects, intricate phenomena, as well as potential risks that may arise from the widespread use of MT tools. Along this line, this paper offers a meticulous assessment of three commercial MT systems – Google Translate, DeepL, and Modern MT – with a specific focus on gender translation and bias. For three language pairs (English/Spanish, English/Italian, and English/French), we scrutinize the behavior of such systems at several levels of granularity and on a variety of naturally occurring gender phenomena in translation. Our study takes stock of the current state of online MT tools, by revealing significant discrepancies in the gender translation of the three systems, with each system displaying varying degrees of bias despite their overall translation quality.

arxiv情報

著者 Silvia Alma Piazzolla,Beatrice Savoldi,Luisa Bentivogli
発行日 2023-06-09 13:24:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク