Having Beer after Prayer? Measuring Cultural Bias in Large Language Models

要約

大規模言語モデル (LM) の範囲が世界的に拡大するにつれて、多様な文化的背景に対応する能力が重要になります。
多言語機能の進歩にもかかわらず、モデルは適切な文化的ニュアンスを考慮して設計されていません。
この論文では、多言語およびアラビア語単言語の LM が西洋文化に関連する実体に対して偏見を示すことを示します。
アラブ文化と西洋文化を対比する 628 の自然発生プロンプトと 8 種類にわたる 20,368 のエンティティからなる新しいリソースである CAMeL を紹介します。
CAMeL は、外部評価と内部評価の両方を通じて、LM の文化的偏見を測定するための基盤を提供します。
CAMeL を使用して、ストーリー生成、NER、感情分析などのタスクにおける 16 人の異なる LM のアラビア語での異文化パフォーマンスを調査したところ、固定観念や文化的不公平のケースが判明しました。
私たちはさらに、彼らのテキスト埋め込みパフォーマンスをテストし、アラブの文化的文脈に適切に適応できないことを明らかにしました。
最後に、6 つのアラビア語の事前トレーニング コーパスを分析し、ウィキペディアなどの一般的に使用されるソースは、調整せずにそのまま使用すると、文化を意識した LM の構築に最適ではない可能性があることがわかりました。
CAMeL を https://github.com/tareknaous/camel で公開します。

要約(オリジナル)

As the reach of large language models (LMs) expands globally, their ability to cater to diverse cultural contexts becomes crucial. Despite advancements in multilingual capabilities, models are not designed with appropriate cultural nuances. In this paper, we show that multilingual and Arabic monolingual LMs exhibit bias towards entities associated with Western culture. We introduce CAMeL, a novel resource of 628 naturally-occurring prompts and 20,368 entities spanning eight types that contrast Arab and Western cultures. CAMeL provides a foundation for measuring cultural biases in LMs through both extrinsic and intrinsic evaluations. Using CAMeL, we examine the cross-cultural performance in Arabic of 16 different LMs on tasks such as story generation, NER, and sentiment analysis, where we find concerning cases of stereotyping and cultural unfairness. We further test their text-infilling performance, revealing the incapability of appropriate adaptation to Arab cultural contexts. Finally, we analyze 6 Arabic pre-training corpora and find that commonly used sources such as Wikipedia may not be best suited to build culturally aware LMs, if used as they are without adjustment. We will make CAMeL publicly available at: https://github.com/tareknaous/camel

arxiv情報

提供元, 利用サービス

arxiv.jp, Google