Evaluating Cultural Adaptability of a Large Language Model via Simulation of Synthetic Personas

要約

多文化環境における大規模言語モデル (LLM) の成功は、ユーザーの多様な文化的背景を理解する能力にかかっています。
私たちは、アンケート形式の心理実験の範囲内で、さまざまな国籍を代表する人間のプロファイルを LLM にシミュレートさせることで、この能力を測定します。
具体的には、GPT-3.5 を使用して、15 か国の 7,286 人の参加者の説得力のあるニュース記事に対する反応を再現します。
その結果を、同じ人口統計的特徴を共有する実際の参加者のデータセットと比較します。
私たちの分析では、個人の居住国を指定することで GPT-3.5 とその回答の整合性が向上することが示されています。
対照的に、ネイティブ言語のプロンプトを使用すると、全体的な調整が大幅に低下する変化が生じ、一部の言語では特にパフォーマンスが低下します。
これらの発見は、直接的な国籍情報はモデルの文化適応性を高める一方、母国語の手がかりはシミュレーションの忠実度を確実に向上させるわけではなく、モデルの有効性を損なう可能性があることを示唆しています。

要約(オリジナル)

The success of Large Language Models (LLMs) in multicultural environments hinges on their ability to understand users’ diverse cultural backgrounds. We measure this capability by having an LLM simulate human profiles representing various nationalities within the scope of a questionnaire-style psychological experiment. Specifically, we employ GPT-3.5 to reproduce reactions to persuasive news articles of 7,286 participants from 15 countries; comparing the results with a dataset of real participants sharing the same demographic traits. Our analysis shows that specifying a person’s country of residence improves GPT-3.5’s alignment with their responses. In contrast, using native language prompting introduces shifts that significantly reduce overall alignment, with some languages particularly impairing performance. These findings suggest that while direct nationality information enhances the model’s cultural adaptability, native language cues do not reliably improve simulation fidelity and can detract from the model’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google