GPT detectors are biased against non-native English writers

要約

タイトル：GPT detectorsは非母語話者に対して偏った性質を持つ

要約：
– 生成言語モデルの急速な普及は、デジタルコミュニケーションの大幅な進歩をもたらす一方で、AIによって生成されたコンテンツが悪用される可能性についても懸念が高まる。
– AIと人間によるコンテンツを区別するために、多数の検出方法が提唱されているが、これらの検出器の公平性と堅牢性については、未だに十分に研究されていない。
– この研究では、ネイティブと非ネイティブの英語のライティングサンプルを用いて、多数のGPT検出器の性能を評価している。
– 我々の発見によれば、これらの検出器は一貫して、非ネイティブの英語のライティングサンプルをAIに生成されたものと誤認識し、一方でネイティブのサンプルは正確に識別することができた。
– さらに、単純なプロンプティング戦略を用いることで、この偏りを軽減するだけでなく、GPT検出器を効果的にバイパスすることができることも示された。これは、GPT検出器が言語表現が制限されたライターに対して無意識にペナルティを与える可能性があることを示唆している。
– この研究の結果は、ChatGPTコンテンツ検出器の展開における倫理的な問題について、そして特に非ネイティブの英語スピーカーを国際的な議論からペナルティを受けたり排除したりする可能性がある場合に、評価や教育的な環境でこれらの検出器の使用について注意を喚起している。

要約(オリジナル)

The rapid adoption of generative language models has brought about substantial advancements in digital communication, while simultaneously raising concerns regarding the potential misuse of AI-generated content. Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. Furthermore, we demonstrate that simple prompting strategies can not only mitigate this bias but also effectively bypass GPT detectors, suggesting that GPT detectors may unintentionally penalize writers with constrained linguistic expressions. Our results call for a broader conversation about the ethical implications of deploying ChatGPT content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI