Can AI-Generated Text be Reliably Detected?

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションで非常に優れたパフォーマンスを発揮します。
しかし、これらのモデルが盗作、フェイクニュースの生成、スパム送信などの活動に悪用される可能性があるため、責任ある使用についての懸念が生じています。
その結果、AI が生成したテキストを確実に検出することが重要な研究分野となっています。
AI テキスト検出器は、特定の設定の下で効果的であることが示されています。
このペーパーでは、攻撃者の存在下でこれらの AI テキスト検出器の堅牢性をストレス テストします。
再帰的言い換え攻撃を導入して、透かしを使用したものや、ニューラル ネットワーク ベースの検出器、ゼロ ショット分類器、検索ベースの検出器など、幅広い検出スキームをストレス テストします。
それぞれ約 300 トークンの長さの通路で行われた実験では、攻撃に対するこれらの検出器の感度が異なることが明らかになりました。
私たちの調査結果は、再帰的言い換え手法は検出率を大幅に低下させる可能性があるものの、多くの場合、テキストの品質をわずかに低下させるだけであることを示しており、攻撃者の存在下での現在の検出システムの潜在的な脆弱性を浮き彫りにしています。
さらに、人間が書いたテキストを AI によって生成されたものとして誤分類することを目的としたスプーフィング攻撃に対する透かし入り LLM の脆弱性を調査します。
私たちは、攻撃者が検出方法へのホワイトボックス アクセスなしで隠された AI テキスト署名を推測でき、LLM 開発者に評判のリスクをもたらす可能性があることを実証します。
最後に、可能な限り最良の検出器の AUROC を人間と AI のテキスト分布間の合計変動距離に結び付ける理論的フレームワークを提供します。
この分析は、言語モデルが進歩し続けるにつれて、信頼性の高い検出の基本的な課題についての洞察を提供します。
私たちのコードは https://github.com/vinusankars/Reliability-of-AI-text-detectors で公開されています。

要約(オリジナル)

Large Language Models (LLMs) perform impressively well in various applications. However, the potential for misuse of these models in activities such as plagiarism, generating fake news, and spamming has raised concern about their responsible use. Consequently, the reliable detection of AI-generated text has become a critical area of research. AI text detectors have shown to be effective under their specific settings. In this paper, we stress-test the robustness of these AI text detectors in the presence of an attacker. We introduce recursive paraphrasing attack to stress test a wide range of detection schemes, including the ones using the watermarking as well as neural network-based detectors, zero shot classifiers, and retrieval-based detectors. Our experiments conducted on passages, each approximately 300 tokens long, reveal the varying sensitivities of these detectors to our attacks. Our findings indicate that while our recursive paraphrasing method can significantly reduce detection rates, it only slightly degrades text quality in many cases, highlighting potential vulnerabilities in current detection systems in the presence of an attacker. Additionally, we investigate the susceptibility of watermarked LLMs to spoofing attacks aimed at misclassifying human-written text as AI-generated. We demonstrate that an attacker can infer hidden AI text signatures without white-box access to the detection method, potentially leading to reputational risks for LLM developers. Finally, we provide a theoretical framework connecting the AUROC of the best possible detector to the Total Variation distance between human and AI text distributions. This analysis offers insights into the fundamental challenges of reliable detection as language models continue to advance. Our code is publicly available at https://github.com/vinusankars/Reliability-of-AI-text-detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google