The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations

要約

ラージ・ランゲージ・モデル（LLM）は、実世界の様々なアプリケーションに広く導入されている。これらのバイアスを理解することは、特に歴史的に不利な立場にあるグループに対して、LLMを用いて意思決定を行う際に起こりうる下流の結果を理解する上で極めて重要である。本研究では、LLMの人口統計学的バイアスを分析し、比較するための簡単な方法を提案する。ChatGPTとLLaMAという2つの最先端LLMにおける交差的バイアスを測定することで、本手法の有効性を実証する。我々の実験は、主にジェンダー・アイデンティティと国籍のバイアスを明らかにすることに焦点を当てているが、我々の方法は、人口統計学的アイデンティティのあらゆる交差に関連するバイアスを調べるために拡張することができる。例えば、両モデルとも一貫してメキシコ人労働者に低賃金の仕事を薦めたり、女性に秘書の仕事を薦めたりする。本研究は、弊害や不公平な結果の可能性を理解するために、下流のアプリケーションにおけるLLMのバイアスを測定することの重要性を強調している。

要約(オリジナル)

Large Language Models (LLMs) have seen widespread deployment in various real-world applications. Understanding these biases is crucial to comprehend the potential downstream consequences when using LLMs to make decisions, particularly for historically disadvantaged groups. In this work, we propose a simple method for analyzing and comparing demographic bias in LLMs, through the lens of job recommendations. We demonstrate the effectiveness of our method by measuring intersectional biases within ChatGPT and LLaMA, two cutting-edge LLMs. Our experiments primarily focus on uncovering gender identity and nationality bias; however, our method can be extended to examine biases associated with any intersection of demographic identities. We identify distinct biases in both models toward various demographic identities, such as both models consistently suggesting low-paying jobs for Mexican workers or preferring to recommend secretarial roles to women. Our study highlights the importance of measuring the bias of LLMs in downstream applications to understand the potential for harm and inequitable outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL