Auditing and Mitigating Cultural Bias in LLMs

要約

文化は人々の推論、行動、コミュニケーションを根本的に形作ります。
生成人工知能 (AI) テクノロジーは、支配的な文化への移行を引き起こす可能性があります。
さまざまな職業的および個人的なタスクを迅速化し、さらには自動化するために AI を使用する人が増えるにつれ、AI モデルに組み込まれた文化的価値観が真の表現に偏りをもたらす可能性があります。
私たちは大規模な言語モデルの文化的偏見を監査し、その回答を各国を代表する調査データと比較し、緩和戦略として国固有のプロンプトを評価します。
GPT-4、3.5、および 3 は、英語圏およびプロテスタントのヨーロッパ諸国に似た文化的価値を示していることがわかりました。
私たちの緩和戦略は、最近のモデルでは文化的偏見を軽減しますが、すべての国/地域を対象とするわけではありません。
特に一か八かの状況において、生成 AI における文化的偏見を回避するには、文化マッチングと継続的な文化監査を使用することをお勧めします。

要約(オリジナル)

Culture fundamentally shapes people’s reasoning, behavior, and communication. Generative artificial intelligence (AI) technologies may cause a shift towards a dominant culture. As people increasingly use AI to expedite and even automate various professional and personal tasks, cultural values embedded in AI models may bias authentic expression. We audit large language models for cultural bias, comparing their responses to nationally representative survey data, and evaluate country-specific prompting as a mitigation strategy. We find that GPT-4, 3.5 and 3 exhibit cultural values resembling English-speaking and Protestant European countries. Our mitigation strategy reduces cultural bias in recent models but not for all countries/territories. To avoid cultural bias in generative AI, especially in high-stakes contexts, we suggest using culture matching and ongoing cultural audits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google