Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations

要約

大規模な言語モデル（LLM）は、意見を生み出し、非代表的で非距離のデータ収集に由来する意見を生み出し、知らないうちにバイアスを伝播することができます。
以前の研究では、西側、特に米国に関するこれらの意見を分析しました。
ただし、このように生成された洞察は、非西洋の集団に一般化されない場合があります。
いくつかの異なる生活の歩みにわたるユーザーによるLLMシステムの広範な使用により、生成された各出力の文化的感受性は重要な関心事です。
私たちの仕事は、LLMSによって生成された意見を定量的に分析し、モデルの社会的人口統計を抽出することに関して以前の研究を改善する新しい方法を提案しています。
私たちの方法は、LLMの回答者に対する回答者への応答から、距離を叩き、モデルの出力に反映される人口統計学的特性を推測する距離を測定します。
インドやその他のアジア諸国に焦点を当てて、さまざまなグローバルな南国で行われた調査に関するラマやミストラルなどの現代のオープンLLMを評価し、宗教的寛容とアイデンティティに関連する調査に関するモデルのパフォーマンスを具体的に評価しています。
私たちの分析は、ほとんどのオープンLLMSが異なる国/領土で変化する単一の均質プロファイルと一致していることを明らかにしています。
また、私たちのフレームワークは、トレーニングデータ、モデルアーキテクチャ、特に宗教的寛容やアイデンティティなどのデリケートなトピックに関して、LLM出力に反映される結果として生じるバイアスの間の複雑な交差を調査する将来の研究にも役立つ可能性があります。

要約(オリジナル)

Large Language Models (LLMs) are capable of generating opinions and propagating bias unknowingly, originating from unrepresentative and non-diverse data collection. Prior research has analysed these opinions with respect to the West, particularly the United States. However, insights thus produced may not be generalized in non-Western populations. With the widespread usage of LLM systems by users across several different walks of life, the cultural sensitivity of each generated output is of crucial interest. Our work proposes a novel method that quantitatively analyzes the opinions generated by LLMs, improving on previous work with regards to extracting the social demographics of the models. Our method measures the distance from an LLM’s response to survey respondents, through Hamming Distance, to infer the demographic characteristics reflected in the model’s outputs. We evaluate modern, open LLMs such as Llama and Mistral on surveys conducted in various global south countries, with a focus on India and other Asian nations, specifically assessing the model’s performance on surveys related to religious tolerance and identity. Our analysis reveals that most open LLMs match a single homogeneous profile, varying across different countries/territories, which in turn raises questions about the risks of LLMs promoting a hegemonic worldview, and undermining perspectives of different minorities. Our framework may also be useful for future research investigating the complex intersection between training data, model architecture, and the resulting biases reflected in LLM outputs, particularly concerning sensitive topics like religious tolerance and identity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google