要約
進化するドイツ語の言語バリエーションであるジェンダーフェア言語は、すべての性別に対応したり、中立的な形式を使用したりすることで、包摂性を促進します。
それにもかかわらず、言語モデル (LM) を使用して、この言語の変化が分類に与える影響を評価するためのリソースが大幅に不足しています。LM はおそらくそのようなバリエーションについてトレーニングされていません。
このギャップに対処するために、スタンス検出や毒性分類などの 7 つのタスクをカバーするドイツ語テキスト分類の高品質な再定式化を特徴とする最初のデータセット、Lou を紹介します。
ルーに関する 16 個の単言語および多言語 LM を評価すると、ジェンダー公平な言語がラベルを反転し、確実性を低下させ、注意パターンを変えることにより、予測に大きな影響を与えることがわかりました。
ただし、元のインスタンスと再定式化されたインスタンスの LM ランキングに大きな違いはないため、既存の評価は引き続き有効です。
ドイツ語のテキスト分類への影響についての初期の洞察を提供しますが、多言語および英語の LM で一貫したパターンが観察されたため、この結果は他の言語にも当てはまる可能性があります。
要約(オリジナル)
Gender-fair language, an evolving German linguistic variation, fosters inclusion by addressing all genders or using neutral forms. Nevertheless, there is a significant lack of resources to assess the impact of this linguistic shift on classification using language models (LMs), which are probably not trained on such variations. To address this gap, we present Lou, the first dataset featuring high-quality reformulations for German text classification covering seven tasks, like stance detection and toxicity classification. Evaluating 16 mono- and multi-lingual LMs on Lou shows that gender-fair language substantially impacts predictions by flipping labels, reducing certainty, and altering attention patterns. However, existing evaluations remain valid, as LM rankings of original and reformulated instances do not significantly differ. While we offer initial insights on the effect on German text classification, the findings likely apply to other languages, as consistent patterns were observed in multi-lingual and English LMs.
arxiv情報
| 著者 | Andreas Waldis,Joel Birrer,Anne Lauscher,Iryna Gurevych |
| 発行日 | 2024-09-26 15:08:17+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google