Few-Shot Detection of Machine-Generated Text using Style Representations

要約

人間の文章を説得力を持って模倣する、命令に調整された言語モデルの出現は、悪用の重大なリスクをもたらします。
たとえば、そのようなモデルは盗作、偽情報、スパム、フィッシングに使用される可能性があります。
ただし、そのような悪用は、テキストの一部が人間ではなく言語モデルによって作成されたかどうかを検出する機能によって対抗できる可能性があります。
この問題に対するこれまでのアプローチの一部は、人間と機械が作成した確認済み文書のコーパスに基づいて訓練された教師あり手法に依存していました。
残念ながら、モデルの仕様不足はニューラル ネットワーク ベースの検出器に避けられない課題をもたらし、検出器のトレーニングに使用されたモデルよりもさらに流暢なテキストを生成するさらなる言語モデルのリリースなど、データの変化に直面すると検出器を脆弱にしてしまいます。
他の以前のアプローチでは、推論または検出時に問題のドキュメントを生成した可能性のあるモデルにアクセスする必要がありますが、これは多くの場合非現実的です。
これらの課題を考慮して、私たちはトレーニング時に懸念される言語モデルからのサンプルに依存しない、根本的に異なるアプローチを追求します。
代わりに、人間が作成したテキストから推定された文体の表現を活用することを提案します。
実際、Llama 2、ChatGPT、GPT-4 などの最先端の大規模言語モデルを含む、人間の作成者を区別するのに効果的な機能は、人間と機械の作成者を区別するのにも効果的であることがわかりました。
さらに、対象となるいくつかの特定の言語モデルのそれぞれによって構成された少数の例を考慮すると、私たちのアプローチにより、どのモデルが特定の文書を生成したかを予測することができます。

要約(オリジナル)

The advent of instruction-tuned language models that convincingly mimic human writing poses a significant risk of abuse. For example, such models could be used for plagiarism, disinformation, spam, or phishing. However, such abuse may be counteracted with the ability to detect whether a piece of text was composed by a language model rather than a human. Some previous approaches to this problem have relied on supervised methods trained on corpora of confirmed human and machine-written documents. Unfortunately, model under-specification poses an unavoidable challenge for neural network-based detectors, making them brittle in the face of data shifts, such as the release of further language models producing still more fluent text than the models used to train the detectors. Other previous approaches require access to the models that may have generated a document in question at inference or detection time, which is often impractical. In light of these challenges, we pursue a fundamentally different approach not relying on samples from language models of concern at training time. Instead, we propose to leverage representations of writing style estimated from human-authored text. Indeed, we find that features effective at distinguishing among human authors are also effective at distinguishing human from machine authors, including state of the art large language models like Llama 2, ChatGPT, and GPT-4. Furthermore, given a handful of examples composed by each of several specific language models of interest, our approach affords the ability to predict which model generated a given document.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google