Multilingual Holistic Bias: Extending Descriptors and Patterns to Unveil Demographic Biases in Languages at Scale

要約

HOLISTICBIAS データセットの多言語拡張、テキストによる人物参照の英語テンプレートベースの最大の分類法である MULTILINGUALHOLISTICBIAS を導入します。
この拡張機能は、13 の人口統計軸すべてに分散された 50 言語の 20,459 文で構成されています。
ソースセンテンスは、無意味な組み合わせを除く、118 の人口統計記述子と 3 つのパターンの組み合わせから構築されます。
多言語翻訳には、英語に曖昧さがある場合に男女別の翻訳をカバーする、男女別の言語の代替案が含まれています。
私たちのベンチマークは、人口動態の不均衡を明らかにし、それに対する緩和策を定量化するツールとなることを目的としています。
私たちの最初の調査結果では、EN から XX への翻訳の翻訳品質は、男性的な人間の基準で評価した場合、女性的なものと比較して平均 8 spBLEU 優れていることがわかりました。
逆の方向、XX から JP では、ソース入力の性別 (男性か女性か) のみが異なり、男性の翻訳が女性よりも平均でほぼ 4 spBLEU 優れている場合のモデルの堅牢性を比較します。
共同多言語文表現空間に文を埋め込むと、ほとんどの言語で男性的な翻訳が埋め込まれたときに英語の中立的な文に大幅に近づくことがわかります。

要約(オリジナル)

We introduce a multilingual extension of the HOLISTICBIAS dataset, the largest English template-based taxonomy of textual people references: MULTILINGUALHOLISTICBIAS. This extension consists of 20,459 sentences in 50 languages distributed across all 13 demographic axes. Source sentences are built from combinations of 118 demographic descriptors and three patterns, excluding nonsensical combinations. Multilingual translations include alternatives for gendered languages that cover gendered translations when there is ambiguity in English. Our benchmark is intended to uncover demographic imbalances and be the tool to quantify mitigations towards them. Our initial findings show that translation quality for EN-to-XX translations is an average of 8 spBLEU better when evaluating with the masculine human reference compared to feminine. In the opposite direction, XX-to-EN, we compare the robustness of the model when the source input only differs in gender (masculine or feminine) and masculine translations are an average of almost 4 spBLEU better than feminine. When embedding sentences to a joint multilingual sentence representations space, we find that for most languages masculine translations are significantly closer to the English neutral sentences when embedded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google