Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination

要約

我々は、英語の 10 の方言 (標準アメリカ英語、標準イギリス英語、および世界中で広く話されている 8 つの非「標準」変種) を対象とした、ChatGPT によって示される言語バイアスの大規模な研究を紹介します。
GPT-3.5 Turbo と GPT-4 に各品種のネイティブ スピーカーによるテキストを入力させ、詳細な言語特徴の注釈とネイティブ スピーカーの評価を通じて応答を分析しました。
モデルはデフォルトで「標準的な」種類の英語を使用していることがわかります。
母語話者による評価に基づくと、非「標準」品種に対するモデル応答は一貫してさまざまな問題を示していることもわかりました。固定観念（「標準」品種よりも 19% 悪い）、品位を傷つける内容（25% 悪い）、態度の欠如です。
理解力（9% 悪化）、見下したような反応（15% 悪化）。
また、これらのモデルが非「標準」のプロンプトの書き方を模倣するように求められた場合、入力の理解度が低く、特にステレオタイプになりやすいテキストが生成されることもわかりました。
GPT-4 は、理解力、温かさ、親しみやすさの点で GPT-3.5 よりも向上していますが、固定観念の顕著な増加 (+18%) も示しています。
この結果は、GPT-3.5 Turbo と GPT-4 が非「標準」品種の話者に対する言語差別を永続させる可能性があることを示しています。

要約(オリジナル)

We present a large-scale study of linguistic bias exhibited by ChatGPT covering ten dialects of English (Standard American English, Standard British English, and eight widely spoken non-‘standard’ varieties from around the world). We prompted GPT-3.5 Turbo and GPT-4 with text by native speakers of each variety and analyzed the responses via detailed linguistic feature annotation and native speaker evaluation. We find that the models default to ‘standard’ varieties of English; based on evaluation by native speakers, we also find that model responses to non-‘standard’ varieties consistently exhibit a range of issues: stereotyping (19% worse than for ‘standard’ varieties), demeaning content (25% worse), lack of comprehension (9% worse), and condescending responses (15% worse). We also find that if these models are asked to imitate the writing style of prompts in non-‘standard’ varieties, they produce text that exhibits lower comprehension of the input and is especially prone to stereotyping. GPT-4 improves on GPT-3.5 in terms of comprehension, warmth, and friendliness, but also exhibits a marked increase in stereotyping (+18%). The results indicate that GPT-3.5 Turbo and GPT-4 can perpetuate linguistic discrimination toward speakers of non-‘standard’ varieties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google