Investigating Cultural Alignment of Large Language Models

要約

言語と文化の複雑な関係は、言語人類学の領域で長い間探究の対象となってきました。
人間の知識の集合体として推進されている大規模言語モデル (LLM) は、極めて重要な疑問を投げかけます。これらのモデルは、異なる文化で採用されている多様な知識を本当にカプセル化しているのでしょうか?
私たちの研究では、これらのモデルが 2 つの側面に沿って、より優れた文化的整合性を示していることが明らかになりました。第 1 に、特定の文化の主要な言語でプロンプトを表示した場合、第 2 に、その文化で採用されている言語の洗練された混合物で事前トレーニングした場合です。
社会学的調査をシミュレートし、モデルの回答を参考として実際の調査参加者の回答と比較することにより、文化的一致を定量化します。
具体的には、アラビア語と英語の両方で、実際の回答者のペルソナと調査の質問を使用して、LLM にさまざまな事前トレーニング データの混合を促すことで、エジプトと米国のさまざまな地域で実施された調査を再現します。
さらに分析を進めると、過小評価されている人物や、社会的価値観を探るような文化的にデリケートなトピックでは、不一致がより顕著になることが明らかになりました。
最後に、文化的整合性を高めるために人類学的推論を活用する新しい方法である人類学的プロンプティングを紹介します。
私たちの研究は、人間の経験の多様性と、言語を越えた伝達というテーマに多くの影響を与える複数の異なる文化をより適切に表現するために、よりバランスのとれた多言語事前トレーニング データセットの必要性を強調しています。

要約(オリジナル)

The intricate relationship between language and culture has long been a subject of exploration within the realm of linguistic anthropology. Large Language Models (LLMs), promoted as repositories of collective human knowledge, raise a pivotal question: do these models genuinely encapsulate the diverse knowledge adopted by different cultures? Our study reveals that these models demonstrate greater cultural alignment along two dimensions — firstly, when prompted with the dominant language of a specific culture, and secondly, when pretrained with a refined mixture of languages employed by that culture. We quantify cultural alignment by simulating sociological surveys, comparing model responses to those of actual survey participants as references. Specifically, we replicate a survey conducted in various regions of Egypt and the United States through prompting LLMs with different pretraining data mixtures in both Arabic and English with the personas of the real respondents and the survey questions. Further analysis reveals that misalignment becomes more pronounced for underrepresented personas and for culturally sensitive topics, such as those probing social values. Finally, we introduce Anthropological Prompting, a novel method leveraging anthropological reasoning to enhance cultural alignment. Our study emphasizes the necessity for a more balanced multilingual pretraining dataset to better represent the diversity of human experience and the plurality of different cultures with many implications on the topic of cross-lingual transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google