What’s in a Name? Auditing Large Language Models for Race and Gender Bias

要約

当社では、GPT-4 を含む最先端の大規模言語モデルのバイアスを調査する監査設計を採用しています。
私たちの研究では、車の購入交渉中や選挙結果の予測中など、さまざまなシナリオにわたって、指定された個人に関するアドバイスをモデルに求めます。
このアドバイスは、一般的に人種的少数派や女性と関連付けられる名前を体系的に不利なものにしていることがわかりました。
黒人女性に関連する名前は最も不利な結果を受けます。
バイアスは 42 個のプロンプト テンプレートといくつかのモデルにわたって一貫しており、個別のインシデントではなくシステム的な問題を示しています。
プロンプト内で意思決定に関連した数値的なアンカーを提供することでバイアスをうまく打ち消すことができますが、定性的な詳細は一貫性のない効果をもたらし、格差を増大させる可能性さえあります。
私たちの調査結果は、疎外されたコミュニティに対する害の可能性を軽減するために、LLM の展開と実装の時点で監査を実施することの重要性を強調しています。

要約(オリジナル)

We employ an audit design to investigate biases in state-of-the-art large language models, including GPT-4. In our study, we prompt the models for advice involving a named individual across a variety of scenarios, such as during car purchase negotiations or election outcome predictions. We find that the advice systematically disadvantages names that are commonly associated with racial minorities and women. Names associated with Black women receive the least advantageous outcomes. The biases are consistent across 42 prompt templates and several models, indicating a systemic issue rather than isolated incidents. While providing numerical, decision-relevant anchors in the prompt can successfully counteract the biases, qualitative details have inconsistent effects and may even increase disparities. Our findings underscore the importance of conducting audits at the point of LLM deployment and implementation to mitigate their potential for harm against marginalized communities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google