Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance

要約

大規模言語モデル (LLM) は、大規模なコーパスでの事前トレーニング中に取得した情報を提供し、ユーザー プロンプトを通じて指示に従うことに優れています。
この研究では、LLM 応答の品質がユーザーの人口統計的プロファイルに応じて変化するかどうかを調査します。
英語を世界共通語として考え、異なる母語話者間の方言の多様性を考慮して、英語を母語としない人がLLMから質の低い応答、さらには事実上不正確な応答をより頻繁に受け取るかどうかを調査します。
私たちの結果は、LLM が英語のネイティブスピーカーと非ネイティブスピーカーによって促された場合にパフォーマンスの差異が発生し、西欧諸国のネイティブスピーカーと他の国々のネイティブスピーカーを比較した場合に持続することを示しています。
さらに、モデルがユーザーの母国語を認識または認識させられると、強力なアンカリング効果が発生し、非母語話者と対話する際の応答品質がさらに低下することがわかりました。
私たちの分析は、母国語や英語の能力に関する情報を含む、124 人のアノテーターからの 12,000 を超える独自のアノテーションを含む、新しく収集されたデータセットに基づいています。

要約(オリジナル)

Large Language Models (LLMs) excel at providing information acquired during pretraining on large-scale corpora and following instructions through user prompts. This study investigates whether the quality of LLM responses varies depending on the demographic profile of users. Considering English as the global lingua franca, along with the diversity of its dialects among speakers of different native languages, we explore whether non-native English speakers receive lower-quality or even factually incorrect responses from LLMs more frequently. Our results show that performance discrepancies occur when LLMs are prompted by native versus non-native English speakers and persist when comparing native speakers from Western countries with others. Additionally, we find a strong anchoring effect when the model recognizes or is made aware of the user’s nativeness, which further degrades the response quality when interacting with non-native speakers. Our analysis is based on a newly collected dataset with over 12,000 unique annotations from 124 annotators, including information on their native language and English proficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google