Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text

要約

最近の大規模言語モデル (LLM) の普及に伴い、機械生成テキストを検出するツールの需要が高まっています。
機械生成テキストの効果的な検出は、2 つの関連する問題に直面しています。第一に、機械生成テキストが GPT-4 や Dolly を含む (ただしこれらに限定されない) さまざまなジェネレーターによって生成される現実世界のシナリオに対して一般化する際に、厳しく制限されます。
、学術論文からソーシャルメディアの投稿に至るまで、さまざまな領域に及びます。
第 2 に、既存の検出手法は、LLM によって生成されたテキストを制限的なバイナリ分類レンズを通じて処理し、さまざまな LLM によって生成されるアーティファクトの微妙な多様性を無視しています。
この研究では、現実世界のシナリオにおける機械生成テキストの検出に関する体系的な研究を行います。
私たちはまず、最先端のアプローチの有効性を研究し、現実世界のさまざまなジェネレーターやドメインによって生成されたテキストに対してそれらのアプローチが厳しく制限されていることを発見しました。
さらに、事前学習済み LLM エンコーダーからの埋め込みの t-SNE 視覚化は、人間のテキストと機械が生成したテキストを確実に区別できないことを示しています。
私たちの調査結果に基づいて、現実世界のさまざまなジェネレーターやドメインによって生成されたテキストに対処するために、LLM 埋め込みサブクラスターリングと組み合わせた事前トレーニング済み T5 エンコーダーを使用して機械生成テキストを検出するための新しいシステム T5LLMCipher を紹介します。
9 つの機械生成テキスト システムと 9 つのドメインにわたってアプローチを評価したところ、私たちのアプローチは最先端の汎化能力を提供し、目に見えないジェネレーターで機械生成テキストの F1 スコアが平均 19.6\% 増加したことがわかりました。
ドメインを既存の最もパフォーマンスの高いアプローチと比較し、テキストの生成者を 93.6\% の精度で正確に識別します。

要約(オリジナル)

With the recent proliferation of Large Language Models (LLMs), there has been an increasing demand for tools to detect machine-generated text. The effective detection of machine-generated text face two pertinent problems: First, they are severely limited in generalizing against real-world scenarios, where machine-generated text is produced by a variety of generators, including but not limited to GPT-4 and Dolly, and spans diverse domains, ranging from academic manuscripts to social media posts. Second, existing detection methodologies treat texts produced by LLMs through a restrictive binary classification lens, neglecting the nuanced diversity of artifacts generated by different LLMs. In this work, we undertake a systematic study on the detection of machine-generated text in real-world scenarios. We first study the effectiveness of state-of-the-art approaches and find that they are severely limited against text produced by diverse generators and domains in the real world. Furthermore, t-SNE visualizations of the embeddings from a pretrained LLM’s encoder show that they cannot reliably distinguish between human and machine-generated text. Based on our findings, we introduce a novel system, T5LLMCipher, for detecting machine-generated text using a pretrained T5 encoder combined with LLM embedding sub-clustering to address the text produced by diverse generators and domains in the real world. We evaluate our approach across 9 machine-generated text systems and 9 domains and find that our approach provides state-of-the-art generalization ability, with an average increase in F1 score on machine-generated text of 19.6\% on unseen generators and domains compared to the top performing existing approaches and correctly attributes the generator of text with an accuracy of 93.6\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google