Ghostbuster: Detecting Text Ghostwritten by Large Language Models

要約

AI によって生成されたテキストを検出するための最先端のシステムである Ghostbuster を紹介します。
私たちの手法は、文書を一連の弱い言語モデルに通し、その特徴の考えられる組み合わせに対して構造化検索を実行し、選択した特徴に基づいて分類器をトレーニングして文書が AI によって生成されたかどうかを予測することで機能します。
重要なことは、Ghostbuster はターゲット モデルからトークンの確率にアクセスする必要がないため、ブラック ボックス モデルや未知のモデル バージョンによって生成されたテキストを検出するのに役立ちます。
私たちのモデルと併せて、学生の作文、創作活動、ニュース記事の領域における検出ベンチマークとして、人間と AI が生成したテキストの 3 つの新しいデータセットをリリースします。
Ghostbuster を、DetectGPT や GPTZero などの既存のさまざまな検出器や、新しい RoBERTa ベースラインと比較します。
Ghostbuster は、ドメイン全体で評価した場合に 99.0 F1 を達成しました。これは、既存の最良のモデルより 5.9 F1 高い値です。
また、ライティング ドメイン (+7.5 F1)、プロンプト戦略 (+2.1 F1)、および言語モデル (+4.4 F1) にわたる一般化において、以前のすべてのアプローチを上回っています。
また、さまざまな摂動や言い換え攻撃に対するシステムの堅牢性を分析し、英語を母国語としない人が書いた文書に対するシステムのパフォーマンスを評価します。

要約(オリジナル)

We introduce Ghostbuster, a state-of-the-art system for detecting AI-generated text. Our method works by passing documents through a series of weaker language models, running a structured search over possible combinations of their features, and then training a classifier on the selected features to predict whether documents are AI-generated. Crucially, Ghostbuster does not require access to token probabilities from the target model, making it useful for detecting text generated by black-box models or unknown model versions. In conjunction with our model, we release three new datasets of human- and AI-generated text as detection benchmarks in the domains of student essays, creative writing, and news articles. We compare Ghostbuster to a variety of existing detectors, including DetectGPT and GPTZero, as well as a new RoBERTa baseline. Ghostbuster achieves 99.0 F1 when evaluated across domains, which is 5.9 F1 higher than the best preexisting model. It also outperforms all previous approaches in generalization across writing domains (+7.5 F1), prompting strategies (+2.1 F1), and language models (+4.4 F1). We also analyze the robustness of our system to a variety of perturbations and paraphrasing attacks and evaluate its performance on documents written by non-native English speakers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google