GPT detectors are biased against non-native English writers

要約

タイトル – GPT detectors は非ネイティブ英語話者には偏見がある
要約 –
– 人工言語モデルの急速な採用により、デジタルコミュニケーションの重要な進歩がもたらされ、同時にAI生成コンテンツの潜在的な誤用について懸念が高まっています。
– AIと人間が生成したコンテンツを区別するために多数の検出手法が提案されていますが、これらの検出器の公平性と堅牢性は未だに十分に探究されていません。
– この研究では、ネイティブ話者と非ネイティブ話者の執筆サンプルを使用して、いくつかの広く使用されている GPT detectors の性能を評価します。
– 研究結果により、これらの検出器は常に非ネイティブ英語の執筆サンプルをAI生成と誤判定しており、一方ネイティブの執筆サンプルは正しく識別されていると明らかになりました。また、簡単なプロンプティング戦略がこのバイアスを緩和するだけでなく、GPT detectors を効果的にバイパスすることができることを実証しました。つまり、GPT detectors は限定された言語表現を持つライターを無意識にペナルティを与える可能性があることを示唆しています。
– この結果から、ChatGPT コンテンツ検出器の使用に関する倫理的な影響についての広い議論が必要であり、非ネイティブ英語話者がグローバルな議論からペナルティを受ける可能性があるため、評価や教育的な設定での使用には注意が必要です。

要約(オリジナル)

The rapid adoption of generative language models has brought about substantial advancements in digital communication, while simultaneously raising concerns regarding the potential misuse of AI-generated content. Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. Furthermore, we demonstrate that simple prompting strategies can not only mitigate this bias but also effectively bypass GPT detectors, suggesting that GPT detectors may unintentionally penalize writers with constrained linguistic expressions. Our results call for a broader conversation about the ethical implications of deploying ChatGPT content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI