JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models

要約

雇用における大規模言語モデル (LLM) の使用は、脆弱な人口統計グループを保護するための立法措置につながりました。
この論文では、履歴書採点のための大規模言語モデル (LLM) における階層的な性別採用バイアスをベンチマークするための新しいフレームワークを提示し、逆性別採用バイアスと過度のバイアスに関する重大な問題を明らかにします。
私たちの貢献は 4 つあります。まず、労働経済学、法原則、および現在のバイアス ベンチマークの批判に基づいた新しい概念を導入します。採用バイアスは 2 つのタイプに分類できます。レベル バイアス (人口統計上の反事実グループ間の平均結果の差) と、
広がりバイアス（人口統計上の反事実グループ間の結果の分散の差）。
レベルバイアスは、統計的バイアス（つまり、非人口統計的コンテンツによって変化する）と嗜好ベースのバイアス（つまり、非人口統計的コンテンツに関係なく一貫している）にさらに細分化できます。
第 2 に、このフレームワークには、ランク アフター スコアリング (RAS)、ランクベースの影響率、順列テスト、固定効果モデルなどの厳密な統計的および計算上の採用バイアス指標が含まれています。
第三に、10 社の最先端の LLM における男女雇用のバイアスを分析します。
LLM の 10 人中 7 人は、少なくとも 1 つの業界で男性に対して重大な偏見を示しています。
業界効果回帰により、医療業界が男性に対して最も偏見を持っていることが明らかになりました。
さらに、LLM 10 個のうち 8 個では、バイアスのパフォーマンスが履歴書の内容によって不変のままであることがわかりました。
これは、この論文で測定されたバイアス パフォーマンスが、履歴書の品質が異なる他の履歴書データセットにも適用される可能性があることを示しています。
4 番目に、他の社会的特性やタスクに一般化できるフレームワークの採用と実際の使用をサポートするために、ユーザーフレンドリーなデモと履歴書のデータセットを提供します。

要約(オリジナル)

The use of Large Language Models (LLMs) in hiring has led to legislative actions to protect vulnerable demographic groups. This paper presents a novel framework for benchmarking hierarchical gender hiring bias in Large Language Models (LLMs) for resume scoring, revealing significant issues of reverse gender hiring bias and overdebiasing. Our contributions are fourfold: Firstly, we introduce a new construct grounded in labour economics, legal principles, and critiques of current bias benchmarks: hiring bias can be categorized into two types: Level bias (difference in the average outcomes between demographic counterfactual groups) and Spread bias (difference in the variance of outcomes between demographic counterfactual groups); Level bias can be further subdivided into statistical bias (i.e. changing with non-demographic content) and taste-based bias (i.e. consistent regardless of non-demographic content). Secondly, the framework includes rigorous statistical and computational hiring bias metrics, such as Rank After Scoring (RAS), Rank-based Impact Ratio, Permutation Test, and Fixed Effects Model. Thirdly, we analyze gender hiring biases in ten state-of-the-art LLMs. Seven out of ten LLMs show significant biases against males in at least one industry. An industry-effect regression reveals that the healthcare industry is the most biased against males. Moreover, we found that the bias performance remains invariant with resume content for eight out of ten LLMs. This indicates that the bias performance measured in this paper might apply to other resume datasets with different resume qualities. Fourthly, we provide a user-friendly demo and resume dataset to support the adoption and practical use of the framework, which can be generalized to other social traits and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google