Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study

要約

ChatGPT の最近のリリースは、対話で人間のような応答を生成するその並外れた能力で広く認められています。
さまざまな国のユーザーによる使用と、多様な文化的および社会的規範を組み込んだ膨大な多言語コーパスでのトレーニングを考えると、文化的適応におけるその有効性を評価することが重要です。
この論文では、人間の文化の違いを定量化するために設計された質問への応答を分析することにより、ChatGPT の根底にある文化的背景を調査します。
私たちの調査結果は、アメリカの文脈で促された場合、ChatGPT はアメリカの文化と強い一致を示しますが、他の文化的文脈にはあまり効果的に適応しないことを示唆しています.
さらに、さまざまなプロンプトを使用してモデルをプローブすることにより、英語のプロンプトがモデルの応答の分散を減らし、文化の違いを平坦化し、アメリカの文化に偏らせることを示しています。
この研究は、ChatGPT の文化的影響に関する貴重な洞察を提供し、言語技術における多様性と文化的認識の向上の必要性を強調しています。

要約(オリジナル)

The recent release of ChatGPT has garnered widespread recognition for its exceptional ability to generate human-like responses in dialogue. Given its usage by users from various nations and its training on a vast multilingual corpus that incorporates diverse cultural and societal norms, it is crucial to evaluate its effectiveness in cultural adaptation. In this paper, we investigate the underlying cultural background of ChatGPT by analyzing its responses to questions designed to quantify human cultural differences. Our findings suggest that, when prompted with American context, ChatGPT exhibits a strong alignment with American culture, but it adapts less effectively to other cultural contexts. Furthermore, by using different prompts to probe the model, we show that English prompts reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture. This study provides valuable insights into the cultural implications of ChatGPT and highlights the necessity of greater diversity and cultural awareness in language technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google