要約
我々は、GEST — マスクされた LM および英語から X への機械翻訳システムにおけるジェンダーの固定観念を測定するための新しいデータセットを紹介します。
GEST には、男性と女性に関する 16 の性別ステレオタイプ (女性は美しい、男性はリーダーであるなど) について、9 つのスラブ言語と英語と互換性のあるサンプルが含まれています。
前述のステレオタイプの定義は、ジェンダーの専門家によって情報提供されました。
GEST を使用して 11 個のマスクされた LM と 4 個の機械翻訳システムを評価しました。
私たちは、評価されたほぼすべてのモデルと言語において、大量かつ一貫した量の定型的な推論を発見しました。
要約(オリジナル)
We present GEST — a new dataset for measuring gender-stereotypical reasoning in masked LMs and English-to-X machine translation systems. GEST contains samples that are compatible with 9 Slavic languages and English for 16 gender stereotypes about men and women (e.g., Women are beautiful, Men are leaders). The definition of said stereotypes was informed by gender experts. We used GEST to evaluate 11 masked LMs and 4 machine translation systems. We discovered significant and consistent amounts of stereotypical reasoning in almost all the evaluated models and languages.
arxiv情報
| 著者 | Matúš Pikuliak,Andrea Hrckova,Stefan Oresko,Marián Šimko |
| 発行日 | 2024-08-13 09:40:35+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google