GATE: A Challenge Set for Gender-Ambiguous Translation Examples

要約

近年、あいまいでない性別の文章の翻訳の改善に大きな進歩がもたらされましたが、あいまいな性別の入力の翻訳は比較的未開拓のままです.
ソースの性別があいまいな場合、機械翻訳モデルは通常、ステレオタイプの性別役割にデフォルト設定され、有害なバイアスを永続させます。
最近の研究により、このようなあいまいな入力に対して別の性別翻訳を生成する「性別リライター」が開発されましたが、そのようなシステムは言語カバレッジが不十分であることに悩まされています。
このタスクのパフォーマンスを向上させるために、GATE を提示およびリリースします。これは、複数の代替ターゲット言語の翻訳とともに、性別があいまいなソース センテンスの言語的に多様なコーパスです。
また、GATE利用時の評価ツールやシステム解析ツールを提供し、翻訳リライタシステムの評価に活用しています。

要約(オリジナル)

Although recent years have brought significant progress in improving translation of unambiguously gendered sentences, translation of ambiguously gendered input remains relatively unexplored. When source gender is ambiguous, machine translation models typically default to stereotypical gender roles, perpetuating harmful bias. Recent work has led to the development of ‘gender rewriters’ that generate alternative gender translations on such ambiguous inputs, but such systems are plagued by poor linguistic coverage. To encourage better performance on this task we present and release GATE, a linguistically diverse corpus of gender-ambiguous source sentences along with multiple alternative target language translations. We also provide tools for evaluation and system analysis when using GATE and use them to evaluate our translation rewriter system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google