Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing

要約

テキスト生成のための大規模な言語モデル（LLMS）の使用の増加により、AIが生成されたコンテンツ検出に関する広範な懸念が生じました。
ただし、見落とされがちな課題は、AIが作成したテキストで、人間が作成したコンテンツがAIツールを使用して微妙な改良を受けます。
これは重要な疑問を提起します：最小限に磨かれたテキストをAIの生成として分類する必要がありますか？
誤分類は、虚偽の盗作の告発と、オンラインコンテンツのAIの有病率に関する誤解を招く主張につながる可能性があります。
この研究では、AIポーリングテキスト評価（APT-EVAL）データセットを使用して、11.7K $ $サンプルを含むAI関与レベルで洗練されたサンプルを含む11の最先端のAI-Text検出器を体系的に評価します。
私たちの調査結果は、検出器がAIの生成として最小限に磨かれたテキストでさえ誤って誤分類し、AIの関与の程度を区別するのに苦労し、古いモデルとより小さなモデルに対してバイアスを示すことを頻繁に誤分類することを明らかにしています。
これらの制限は、より微妙な検出方法論の緊急の必要性を強調しています。

要約(オリジナル)

The growing use of large language models (LLMs) for text generation has led to widespread concerns about AI-generated content detection. However, an overlooked challenge is AI-polished text, where human-written content undergoes subtle refinements using AI tools. This raises a critical question: should minimally polished text be classified as AI-generated? Misclassification can lead to false plagiarism accusations and misleading claims about AI prevalence in online content. In this study, we systematically evaluate eleven state-of-the-art AI-text detectors using our AI-Polished-Text Evaluation (APT-Eval) dataset, which contains $11.7K$ samples refined at varying AI-involvement levels. Our findings reveal that detectors frequently misclassify even minimally polished text as AI-generated, struggle to differentiate between degrees of AI involvement, and exhibit biases against older and smaller models. These limitations highlight the urgent need for more nuanced detection methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google