Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models

要約

大規模な言語モデルの急速な進歩と使用に対応するための取り組みとして、ジェンダーバイアス研究が NLP においてさらに普及してきています。
しかし、非英語バイアス研究はまだ初期段階にあり、ほとんどの研究は英語に焦点を当てています。
私たちの研究では、礼儀正しさのレベルに関連する文法上のジェンダーバイアスが日本語と韓国語の言語モデルでどのように現れるかを研究しています。
これらの言語の言語研究では、ジェンダーバイアスと礼儀正しさのレベルとの関係が特定されていますが、言語モデルがこれらのバイアスを再現するかどうかはまだ不明です。
テンプレートを使用して男性と女性の文法的性別の相対予測確率を分析したところ、非公式の丁寧な話し言葉が女性の文法的性別を最もよく示しているのに対し、失礼で形式的な話し方は男性の文法的性別を最もよく示していることがわかりました。
さらに、ネットいじめ検出モデルでは、礼儀正しさのレベルが性別による割り当てバイアスの攻撃ベクトルであることがわかりました。
ネットいじめは、礼儀正しさのレベルを悪用する簡単なテクニックによって検出を回避することができます。
攻撃データセットを導入することで、(i) 礼儀正しさのレベル全体にわたる表現上のジェンダーバイアスを特定し、(ii) ジェンダーバイアスが悪用されてネットいじめ検出モデルを回避する方法を実証し、(iii) 提案されたデータセットでのトレーニングによって配分バイアスが軽減できることを示します。
私たちの調査結果を通じて、現在の英語中心主義を超えた偏見研究の重要性を強調します。

要約(オリジナル)

In efforts to keep up with the rapid progress and use of large language models, gender bias research is becoming more prevalent in NLP. Non-English bias research, however, is still in its infancy with most work focusing on English. In our work, we study how grammatical gender bias relating to politeness levels manifests in Japanese and Korean language models. Linguistic studies in these languages have identified a connection between gender bias and politeness levels, however it is not yet known if language models reproduce these biases. We analyze relative prediction probabilities of the male and female grammatical genders using templates and find that informal polite speech is most indicative of the female grammatical gender, while rude and formal speech is most indicative of the male grammatical gender. Further, we find politeness levels to be an attack vector for allocational gender bias in cyberbullying detection models. Cyberbullies can evade detection through simple techniques abusing politeness levels. We introduce an attack dataset to (i) identify representational gender bias across politeness levels, (ii) demonstrate how gender biases can be abused to bypass cyberbullying detection models and (iii) show that allocational biases can be mitigated via training on our proposed dataset. Through our findings we highlight the importance of bias research moving beyond its current English-centrism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google