Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study

要約

タイトル：ChatGPTと人間社会とのクロスカルチャーアラインメントを評価する：実証的研究

要約：

– ChatGPTは人間と似たような発話を生成する能力があるとして広く認知されている。
– ChatGPTは、さまざまな国からのユーザーに使用され、多様な文化や社会の慣習を取り入れた多言語コーパスで訓練されているため、文化的適応力を評価することが重要である。
– この研究では、人間の文化的違いを定量化するために設計された質問に対するChatGPTの応答を分析することにより、ChatGPTの文化的背景について調査した。
– 結果、アメリカ的な文脈でプロンプトされた場合、ChatGPTはアメリカ文化と強く一致することが示されたが、他の文化的な文脈では効果的に適応できないことがわかった。
– さらに、モデルを調査するために異なるプロンプトを使用することにより、英語のプロンプトはモデルの応答の分散を減らし、文化的な差異を平坦化し、アメリカ文化にバイアスをかけることが示された。
– この研究は、ChatGPTの文化的含意を明らかにし、言語テクノロジーにおける多様性と文化的意識の必要性を強調する、貴重な示唆を提供している。

要約(オリジナル)

The recent release of ChatGPT has garnered widespread recognition for its exceptional ability to generate human-like responses in dialogue. Given its usage by users from various nations and its training on a vast multilingual corpus that incorporates diverse cultural and societal norms, it is crucial to evaluate its effectiveness in cultural adaptation. In this paper, we investigate the underlying cultural background of ChatGPT by analyzing its responses to questions designed to quantify human cultural differences. Our findings suggest that, when prompted with American context, ChatGPT exhibits a strong alignment with American culture, but it adapts less effectively to other cultural contexts. Furthermore, by using different prompts to probe the model, we show that English prompts reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture. This study provides valuable insights into the cultural implications of ChatGPT and highlights the necessity of greater diversity and cultural awareness in language technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI