Adapting Psycholinguistic Research for LLMs: Gender-inclusive Language in a Coreference Context

要約

性別を含む言語は、性別に関係なくすべての個人が特定の概念に関連付けられるようにすることを目的として使用されることがよくあります。
心理言語学的研究では、人間の認知に関連してその効果を調べていますが、言語モデル（LLM）がジェンダーを含む言語をどのように処理するかは不明のままです。
市販のLLMが日常のアプリケーションでますます強い足場を獲得していることを考えると、LLMが実際に性別を含む言語を中立的に解釈するかどうかを調べることが重要です。なぜなら、彼らが生成する言語はユーザーの言語に影響を与える可能性があるからです。
この研究では、LLM生成されたコアファレント用語が特定の性別表現と一致するか、モデルバイアスを反映するかを調べます。
心理言語的方法をフランス語から英語、ドイツ語に適応させると、英語では、LLMは一般に前件の性別を維持しているが、根本的な男性的な偏見を示していることがわかります。
ドイツ語では、このバイアスははるかに強力であり、テストされたすべての性別中和戦略を無効にします。

要約(オリジナル)

Gender-inclusive language is often used with the aim of ensuring that all individuals, regardless of gender, can be associated with certain concepts. While psycholinguistic studies have examined its effects in relation to human cognition, it remains unclear how Large Language Models (LLMs) process gender-inclusive language. Given that commercial LLMs are gaining an increasingly strong foothold in everyday applications, it is crucial to examine whether LLMs in fact interpret gender-inclusive language neutrally, because the language they generate has the potential to influence the language of their users. This study examines whether LLM-generated coreferent terms align with a given gender expression or reflect model biases. Adapting psycholinguistic methods from French to English and German, we find that in English, LLMs generally maintain the antecedent’s gender but exhibit underlying masculine bias. In German, this bias is much stronger, overriding all tested gender-neutralization strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google