Separating the Human Touch from AI-Generated Text using Higher Criticism: An Information-Theoretic Approach

要約

我々は、特定の記事が完全に生成言語モデルによって書かれたのか、それとも別の著者 (おそらく人間) による重要な編集が記事に含まれている別の状況なのかを判断する方法を提案します。
私たちのプロセスには、個々の文やその他のテキスト要素の起源に関する多くの混乱テストが含まれており、高次批判 (HC) を使用してこれらの複数のテストを組み合わせます。
副産物として、この方法は編集された疑いのある部分を特定します。
この方法は、対数パープレキシティのクロスエントロピー レートへの収束と、おそらく別の言語を介して生成された可能性のあるいくつかの文を除いて、文はほとんど言語モデルによって生成されるという編集テキストの統計モデルによって動機づけられています。
機構。
実際のデータを使用して手法の有効性を実証し、その成功に影響を与える要因を分析します。
この分析により、いくつかの興味深い未解決の課題が提起され、その解決により方法の有効性が向上する可能性があります。

要約(オリジナル)

We propose a method to determine whether a given article was entirely written by a generative language model versus an alternative situation in which the article includes some significant edits by a different author, possibly a human. Our process involves many perplexity tests for the origin of individual sentences or other text atoms, combining these multiple tests using Higher Criticism (HC). As a by-product, the method identifies parts suspected to be edited. The method is motivated by the convergence of the log-perplexity to the cross-entropy rate and by a statistical model for edited text saying that sentences are mostly generated by the language model, except perhaps for a few sentences that might have originated via a different mechanism. We demonstrate the effectiveness of our method using real data and analyze the factors affecting its success. This analysis raises several interesting open challenges whose resolution may improve the method’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google