White Men Lead, Black Women Help: Uncovering Gender, Racial, and Intersectional Bias in Language Agency

要約

社会的偏見は言語主体に現れることがあります。
例えば、白人や男性は「代理人的」で成果志向であることが多いのに対し、黒人や女性は「共同体的」で補助的役割であるとよく言われます。
この研究は、人間が書いたテキストと大規模言語モデル (LLM) が生成したテキストの両方における社会的バイアスを研究する際の重要な側面として、主体性が確立されています。
文レベルで「言語主体」を正確に測定するために、信頼できる主体分類子をトレーニングするための言語主体分類データセットを提案します。
次に、エージェンシー分類子を使用して、伝記、教授のレビュー、推薦状など、人間または LLM が書いたテキストの 6 つのデータセットにおける顕著な言語エージェンシーのバイアスを明らかにします。
主体性バイアスに関するこれまでの NLP 研究のほとんどは単一の側面に焦点を当てていましたが、私たちは性別、人種、および交差アイデンティティにおける言語主体性バイアスを包括的に調査しています。
私たちは、(1) 人間が書いたテキストにおける言語主体のバイアスが現実世界の社会観察と一致していることを観察しています。
(2) LLM で生成されたテキストは、人間が書いたテキストよりも言語主体のバイアスが著しく高いレベルであることを示しています。
(3) 言語主体性における重大なバイアスは、少数派の人々を対象としています。たとえば、黒人女性を説明するために使用される言語は、データセット全体で最低レベルの主体性を示しています。
私たちの調査結果は、言語主体のレンズを通して、人間とLLMが書いたテキストの複雑な社会的バイアスを明らかにし、精査せずに社会的文脈でLLM世代を使用することに対して警告しています。

要約(オリジナル)

Social biases can manifest in language agency. For instance, White individuals and men are often described as ‘agentic’ and achievement-oriented, whereas Black individuals and women are frequently described as ‘communal’ and as assisting roles. This study establishes agency as an important aspect of studying social biases in both human-written and Large Language Model (LLM)-generated texts. To accurately measure ‘language agency’ at sentence level, we propose a Language Agency Classification dataset to train reliable agency classifiers. We then use an agency classifier to reveal notable language agency biases in 6 datasets of human- or LLM-written texts, including biographies, professor reviews, and reference letters. While most prior NLP research on agency biases focused on single dimensions, we comprehensively explore language agency biases in gender, race, and intersectional identities. We observe that (1) language agency biases in human-written texts align with real-world social observations; (2) LLM-generated texts demonstrate remarkably higher levels of language agency bias than human-written texts; and (3) critical biases in language agency target people of minority groups–for instance, languages used to describe Black females exhibit the lowest level of agency across datasets. Our findings reveal intricate social biases in human- and LLM-written texts through the lens of language agency, warning against using LLM generations in social contexts without scrutiny.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google