Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models

要約

大規模言語モデル (LLM) は、有害な固定観念、特に疎外されたコミュニティに過度の影響を与える固定観念を伝播および増幅させることが示されています。
これらのステレオタイプの影響をより包括的に理解するために、バイアス文献で一般的に使用される記述子とともに 40 の異なる性別別民族グループを組み込んだ 876,000 文のデータセットである GlobalBias を導入します。これにより、世界中の広範なステレオタイプを研究することができます。
。
GlobalBias を使用して、パープレキシティを介して LM スイートを直接調査し、モデルの内部表現で特定のステレオタイプがどのように表現されるかを決定するプロキシとして使用します。
これに続いて、指定された名前に基づいてキャラクター プロファイルを生成し、モデル出力におけるステレオタイプの蔓延を評価します。
さまざまなステレオタイプに関連付けられた人口統計グループは、モデルの尤度およびモデルの出力全体にわたって一貫していることがわかりました。
さらに、より大きなモデルは、明示的にそうしないように指示されている場合でも、一貫してより高いレベルのステレオタイプの出力を表示します。

要約(オリジナル)

Large language models (LLMs) have been shown to propagate and amplify harmful stereotypes, particularly those that disproportionately affect marginalised communities. To understand the effect of these stereotypes more comprehensively, we introduce GlobalBias, a dataset of 876k sentences incorporating 40 distinct gender-by-ethnicity groups alongside descriptors typically used in bias literature, which enables us to study a broad set of stereotypes from around the world. We use GlobalBias to directly probe a suite of LMs via perplexity, which we use as a proxy to determine how certain stereotypes are represented in the model’s internal representations. Following this, we generate character profiles based on given names and evaluate the prevalence of stereotypes in model outputs. We find that the demographic groups associated with various stereotypes remain consistent across model likelihoods and model outputs. Furthermore, larger models consistently display higher levels of stereotypical outputs, even when explicitly instructed not to.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google