Red AI? Inconsistent Responses from GPT3.5 Models on Political Issues in the US and China

要約

ChatGPT やその他の AI を利用した大規模言語モデル (LLM) の人気の高まりにより、間違いや偏見に対する脆弱性を強調する研究が増加しています。
ただし、これらの研究のほとんどは、英語のテキストでトレーニングされたモデルに焦点を当てています。
この研究では革新的なアプローチを採用し、GPT の多言語モデルにおける政治的偏見を調査しています。
私たちは、米国と中国の注目度の高い政治問題について、英語と簡体字中国語の両方で GPT に同じ質問をしました。バイリンガルの回答を分析した結果、GPT のバイリンガル モデルの政治的な「知識」 (内容) と政治的な「知識」 (内容) が異なることが明らかになりました。
中国の政治問題に関しては、「態度」（感情）が著しく一貫していない。
簡略化された中国語 GPT モデルは、親中国的な情報を提供する傾向があるだけでなく、中国の問題に対する否定的な感情も最も少ないものでしたが、英語の GPT は中国に対して著しく否定的でした。
この格差は、GPT バイリンガル モデルのトレーニング コーパスに影響を与える中国国家検閲と米国と中国の地政学的緊張に起因する可能性があります。
さらに、中国語と英語のモデルは両方とも、使用される言語によって表される「自分自身」の問題に対しては、「他者」の問題よりも批判的ではない傾向がありました。
これは、GPT 多言語モデルが、トレーニング言語に基づいて「政治的アイデンティティ」とそれに関連する感情バイアスを潜在的に発展させる可能性があることを示唆しています。
私たちは、分断が進む世界における情報伝達とコミュニケーションに対する調査結果の影響について話し合いました。

要約(オリジナル)

The rising popularity of ChatGPT and other AI-powered large language models (LLMs) has led to increasing studies highlighting their susceptibility to mistakes and biases. However, most of these studies focus on models trained on English texts. Taking an innovative approach, this study investigates political biases in GPT’s multilingual models. We posed the same question about high-profile political issues in the United States and China to GPT in both English and simplified Chinese, and our analysis of the bilingual responses revealed that GPT’s bilingual models’ political ‘knowledge’ (content) and the political ‘attitude’ (sentiment) are significantly more inconsistent on political issues in China. The simplified Chinese GPT models not only tended to provide pro-China information but also presented the least negative sentiment towards China’s problems, whereas the English GPT was significantly more negative towards China. This disparity may stem from Chinese state censorship and US-China geopolitical tensions, which influence the training corpora of GPT bilingual models. Moreover, both Chinese and English models tended to be less critical towards the issues of ‘their own’ represented by the language used, than the issues of ‘the other.’ This suggests that GPT multilingual models could potentially develop a ‘political identity’ and an associated sentiment bias based on their training language. We discussed the implications of our findings for information transmission and communication in an increasingly divided world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google