Casteist but Not Racist? Quantifying Disparities in Large Language Model Bias between India and the West

要約

大規模言語モデル (LLM) は現在、何百万ものユーザーによって毎日使用されており、社会的偏見をコード化し、ユーザーを表現上の危害にさらす可能性があります。
LLM バイアスに関する多くの学問が存在しますが、それは主に西側中心の枠組みを採用しており、グローバル・サウスにおけるバイアスのレベルや潜在的な危害には比較的関心がありません。
この論文では、インド中心の枠組みに従って一般的な LLM の典型的なバイアスを定量化し、インドと西洋の文脈の間でバイアス レベルを比較します。
これを行うために、私たちは、カーストと宗教の文脈に関する定型的な例と反定型的な例を含む、Indian-BhED (インドのバイアス評価データセット) と呼ぶ新しいデータセットを開発しました。
テストされた LLM の大部分は、インドの文脈において、特に西洋の文脈と比較して、ステレオタイプに強く偏っていることがわかりました。
私たちは最終的に、そのようなバイアスを軽減するための簡単な介入として指示プロンプトを調査し、GPT-3.5 のほとんどのケースで常同的バイアスと反常同的バイアスの両方を大幅に軽減することを発見しました。
この研究の結果は、LLM を評価する際に、より多様な意見を含める必要性を浮き彫りにしています。

要約(オリジナル)

Large Language Models (LLMs), now used daily by millions of users, can encode societal biases, exposing their users to representational harms. A large body of scholarship on LLM bias exists but it predominantly adopts a Western-centric frame and attends comparatively less to bias levels and potential harms in the Global South. In this paper, we quantify stereotypical bias in popular LLMs according to an Indian-centric frame and compare bias levels between the Indian and Western contexts. To do this, we develop a novel dataset which we call Indian-BhED (Indian Bias Evaluation Dataset), containing stereotypical and anti-stereotypical examples for caste and religion contexts. We find that the majority of LLMs tested are strongly biased towards stereotypes in the Indian context, especially as compared to the Western context. We finally investigate Instruction Prompting as a simple intervention to mitigate such bias and find that it significantly reduces both stereotypical and anti-stereotypical biases in the majority of cases for GPT-3.5. The findings of this work highlight the need for including more diverse voices when evaluating LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google