What’s in a Name? Auditing Large Language Models for Race and Gender Bias

要約

我々は、GPT-4を含む最新の大規模言語モデルのバイアスを調査するために、監査デザインを採用している。本研究では、自動車購入交渉や選挙結果予測など、様々なシナリオにおいて、名前付き個人を含むアドバイスをモデルに求める。その結果、人種的マイノリティや女性によく関連する名前が、体系的に不利なアドバイスを受けることがわかった。黒人女性を連想させる名前は最も不利な結果を受ける。このバイアスは、42のプロンプトテンプレートと複数のモデルで一貫しており、孤立した事件というよりむしろ体系的な問題であることを示している。プロンプトに数値的で意思決定に関連するアンカーを提供することでバイアスを打ち消すことは可能であるが、定性的な詳細には一貫した効果がなく、格差を拡大する可能性さえある。私たちの発見は、LLMの配備と実施の時点で監査を行い、社会から疎外されたコミュニティに対する害の可能性を軽減することの重要性を強調するものである。

要約(オリジナル)

We employ an audit design to investigate biases in state-of-the-art large language models, including GPT-4. In our study, we prompt the models for advice involving a named individual across a variety of scenarios, such as during car purchase negotiations or election outcome predictions. We find that the advice systematically disadvantages names that are commonly associated with racial minorities and women. Names associated with Black women receive the least advantageous outcomes. The biases are consistent across 42 prompt templates and several models, indicating a systemic issue rather than isolated incidents. While providing numerical, decision-relevant anchors in the prompt can successfully counteract the biases, qualitative details have inconsistent effects and may even increase disparities. Our findings underscore the importance of conducting audits at the point of LLM deployment and implementation to mitigate their potential for harm against marginalized communities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL