CulturePark: Boosting Cross-cultural Understanding in Large Language Models

要約

文化的な偏見は多くの大規模言語モデル (LLM) に蔓延していますが、これは主に、異なる文化を表すデータの不足が原因です。
通常、文化データセットとベンチマークは、既存のデータセットのサブセットを抽出するか、Wikipedia やソーシャル メディアなどのプラットフォームから集約することによって構築されます。
ただし、これらのアプローチは実世界のデータと人間の注釈に大きく依存しているため、コストがかかり、拡張が困難になります。
この論文は、社会コミュニケーションに関する認知理論に触発され、文化データ収集のための LLM を利用したマルチエージェント コミュニケーション フレームワークである CulturePark を紹介します。
CulturePark は、異なる文化で役割を果たす LLM ベースのエージェントとの異文化間人間コミュニケーションをシミュレートします。
人間の信念、規範、習慣を要約した質の高い異文化対話が生まれます。
CulturePark を使用して、8 つの文化固有の LLM を微調整するために 41,000 の文化サンプルを生成しました。
私たちはこれらのモデルを、コンテンツモデレーション、文化的調整、文化的教育という 3 つの下流タスクにわたって評価しました。
結果は、コンテンツのモデレーションに関して、GPT-3.5 ベースのモデルがデータセット上で GPT-4 と同等またはそれを上回るパフォーマンスを示していることを示しています。
文化的な整合性に関しては、私たちのモデルは Hofstede の VSM 13 フレームワーク上の GPT-4 を上回っています。
さらに、人間の参加者の文化教育において、当社のモデルは GPT-4 と比較して学習効果とユーザー エクスペリエンスの両方で優れた成果を示しています。
CulturePark は、文化的偏見に対処し、AI の民主化を進める上で重要なステップであることを証明し、モデルのトレーニングにおける文化的に包括的なデータの重要な役割を強調しています。
コードは https://github.com/Scarelette/CulturePark で公開されています。

要約(オリジナル)

Cultural bias is pervasive in many large language models (LLMs), largely due to the deficiency of data representative of different cultures. Typically, cultural datasets and benchmarks are constructed either by extracting subsets of existing datasets or by aggregating from platforms such as Wikipedia and social media. However, these approaches are highly dependent on real-world data and human annotations, making them costly and difficult to scale. Inspired by cognitive theories on social communication, this paper introduces CulturePark, an LLM-powered multi-agent communication framework for cultural data collection. CulturePark simulates cross-cultural human communication with LLM-based agents playing roles in different cultures. It generates high-quality cross-cultural dialogues encapsulating human beliefs, norms, and customs. Using CulturePark, we generated 41,000 cultural samples to fine-tune eight culture-specific LLMs. We evaluated these models across three downstream tasks: content moderation, cultural alignment, and cultural education. Results show that for content moderation, our GPT-3.5-based models either match or outperform GPT-4 on datasets. Regarding cultural alignment, our models surpass GPT-4 on Hofstede’s VSM 13 framework. Furthermore, for cultural education of human participants, our models demonstrate superior outcomes in both learning efficacy and user experience compared to GPT-4. CulturePark proves an important step in addressing cultural bias and advancing the democratization of AI, highlighting the critical role of culturally inclusive data in model training. Code is released at https://github.com/Scarelette/CulturePark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google