Cultural Bias and Cultural Alignment of Large Language Models

要約

文化は人々の推論、行動、コミュニケーションを根本的に形作ります。
個人的および専門的なタスクを迅速化および自動化するために人々が生成型人工知能 (AI) を使用することが増えるにつれ、AI モデルに埋め込まれた文化的価値観が人々の真の表現に偏り、特定の文化の支配に寄与する可能性があります。
私たちは、広く使用されている 5 つの大規模言語モデル (OpenAI の GPT-4o/4-turbo/4/3.5-turbo/3) について、各国を代表する調査データに対するモデルの応答を比較することにより、文化的バイアスの細分化評価を実施します。
すべてのモデルは、英語圏およびプロテスタントのヨーロッパ諸国に似た文化的価値を示しています。
私たちは、各国/地域の文化的整合性を高めるための制御戦略として、文化的促しをテストします。
最近のモデル (GPT-4、4-turbo、4o) の場合、これにより、71 ～ 81% の国と地域でモデルの出力の文化的整合性が向上します。
文化的なプロンプトと継続的な評価を使用して、生成 AI の出力における文化的な偏りを軽減することをお勧めします。

要約(オリジナル)

Culture fundamentally shapes people’s reasoning, behavior, and communication. As people increasingly use generative artificial intelligence (AI) to expedite and automate personal and professional tasks, cultural values embedded in AI models may bias people’s authentic expression and contribute to the dominance of certain cultures. We conduct a disaggregated evaluation of cultural bias for five widely used large language models (OpenAI’s GPT-4o/4-turbo/4/3.5-turbo/3) by comparing the models’ responses to nationally representative survey data. All models exhibit cultural values resembling English-speaking and Protestant European countries. We test cultural prompting as a control strategy to increase cultural alignment for each country/territory. For recent models (GPT-4, 4-turbo, 4o), this improves the cultural alignment of the models’ output for 71-81% of countries and territories. We suggest using cultural prompting and ongoing evaluation to reduce cultural bias in the output of generative AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google