‘Kelly is a Warm Person, Joseph is a Role Model’: Gender Biases in LLM-Generated Reference Letters

要約

生成言語モデルが進歩するにつれて、ユーザーは大規模言語モデル (LLM) を利用して、推薦状などの専門的な文書を含むさまざまな種類のコンテンツの作成を支援し始めています。
これらのアプリケーションは便利であるにもかかわらず、前例のない公平性の問題を引き起こします。
生成された推薦レターは、ユーザーが専門的または学術的なシナリオで直接利用する可能性があるため、女性応募者の合格率を低下させるなど、直接的な社会的危害を引き起こす可能性があります。
したがって、将来の緩和と監視のために、そのような現実世界のユースケースにおける公平性の問題とそれに関連する危害を包括的に研究することが差し迫ったものであり、必要です。
この論文では、LLM が生成した参照レターにおけるジェンダーバイアスを批判的に調査します。
社会科学の発見に触発され、私たちは、言語スタイルのバイアスと語彙内容のバイアスという 2 つの側面を通じて、LLM で生成された文字のジェンダー バイアスを明らかにする評価方法を設計しました。
さらに、モデル幻覚コンテンツにおけるバイアス増幅を個別に分析することにより、バイアス伝播の程度を調査します。これをモデル生成文書の幻覚バイアスと定義します。
ChatGPT、Alpaca、Vicuna、StableLM を含む 4 つの人気のある LLM のベンチマーク評価を通じて、私たちの研究は、LLM が生成した推薦状における重大な性別バイアスを明らかにしました。
私たちの調査結果は、LLM によって生成された専門文書のバイアスを認識することの重要性と差し迫った問題をさらに示しています。

要約(オリジナル)

As generative language models advance, users have started to utilize Large Language Models (LLMs) to assist in writing various types of content, including professional documents such as recommendation letters. Despite their convenience, these applications introduce unprecedented fairness concerns. As generated reference letters might be directly utilized by users in professional or academic scenarios, they have the potential to cause direct social harms, such as lowering success rates for female applicants. Therefore, it is imminent and necessary to comprehensively study fairness issues and associated harms in such real-world use cases for future mitigation and monitoring. In this paper, we critically examine gender bias in LLM-generated reference letters. Inspired by findings in social science, we design evaluation methods to manifest gender biases in LLM-generated letters through 2 dimensions: biases in language style and biases in lexical content. Furthermore, we investigate the extent of bias propagation by separately analyze bias amplification in model-hallucinated contents, which we define to be the hallucination bias of model-generated documents. Through benchmarking evaluation on 4 popular LLMs, including ChatGPT, Alpaca, Vicuna and StableLM, our study reveals significant gender biases in LLM-generated recommendation letters. Our findings further point towards the importance and imminence to recognize biases in LLM-generated professional documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google