Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models

要約

社会における社会経済的偏見は格差を悪化させ、個人の経済的および社会的背景に基づいて機会や資源へのアクセスに影響を与えます。
この蔓延した問題は体系的な不平等を永続させ、社会としての包括的な進歩の追求を妨げています。
この論文では、大規模な言語モデルに社会経済的バイアスが存在する場合、その存在を調査します。
この目的を達成するために、恵まれない人々が状況に応じて倫理的に曖昧な行動を行うという仮説的なシナリオを示す 3,000 個のサンプルで構成される新しいデータセット SilverSpoon を導入し、その行動が倫理的に正当であるかどうかを尋ねます。
さらに、このデータセットには二重ラベル付けスキームがあり、社会経済的スペクトルの両端に属する人々によって注釈が付けられています。
SilverSpoon を使用して、大規模な言語モデルで表現される社会経済的バイアスの程度と、モデル サイズの関数としてのこの程度の変動を評価します。
また、このバイアスの性質を分析するために定性分析も実行します。
私たちの分析では、どのような状況において恵まれない人たちへの共感が必要かについて人間の意見は一致していないが、ほとんどの大規模な言語モデルは状況に関係なく、社会経済的に恵まれない人たちに共感することができないことが明らかになった。
この分野でのさらなる研究を促進するために、SilverSpoon と評価ハーネスを一般公開します。

要約(オリジナル)

Socioeconomic bias in society exacerbates disparities, influencing access to opportunities and resources based on individuals’ economic and social backgrounds. This pervasive issue perpetuates systemic inequalities, hindering the pursuit of inclusive progress as a society. In this paper, we investigate the presence of socioeconomic bias, if any, in large language models. To this end, we introduce a novel dataset SilverSpoon, consisting of 3000 samples that illustrate hypothetical scenarios that involve underprivileged people performing ethically ambiguous actions due to their circumstances, and ask whether the action is ethically justified. Further, this dataset has a dual-labeling scheme and has been annotated by people belonging to both ends of the socioeconomic spectrum. Using SilverSpoon, we evaluate the degree of socioeconomic bias expressed in large language models and the variation of this degree as a function of model size. We also perform qualitative analysis to analyze the nature of this bias. Our analysis reveals that while humans disagree on which situations require empathy toward the underprivileged, most large language models are unable to empathize with the socioeconomically underprivileged regardless of the situation. To foster further research in this domain, we make SilverSpoon and our evaluation harness publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google