MAGE: Machine-generated Text Detection in the Wild

要約

大規模言語モデル (LLM) は人間レベルのテキスト生成を実現しており、フェイク ニュースの蔓延や盗作などのリスクを軽減するために、AI によって生成された効果的なテキスト検出の必要性が強調されています。
既存の研究は、特定のドメインまたは特定の言語モデルでの検出方法を評価することによって制約されてきました。
ただし、実際のシナリオでは、検出器は、ソースが不明なさまざまなドメインまたは LLM からのテキストに直面します。
この目的を達成するために、私たちはさまざまな人間の文章やさまざまな LLM によって生成されたテキストからテキストを収集することにより、包括的なテストベッドを構築します。
実証結果は、さまざまなシナリオ、特に配布外で機械が生成したテキストと人間が作成したテキストを区別する際に課題があることを示しています。
これらの課題は、2 つの情報源間の言語上の差異が減少していることが原因です。
課題はありますが、最高のパフォーマンスを誇る検出器は、新しい LLM によって生成されたドメイン外テキストを 86.54% 識別でき、アプリケーション シナリオの実現可能性を示しています。
リソースは https://github.com/yafuly/MAGE でリリースされます。

要約(オリジナル)

Large language models (LLMs) have achieved human-level text generation, emphasizing the need for effective AI-generated text detection to mitigate risks like the spread of fake news and plagiarism. Existing research has been constrained by evaluating detection methods on specific domains or particular language models. In practical scenarios, however, the detector faces texts from various domains or LLMs without knowing their sources. To this end, we build a comprehensive testbed by gathering texts from diverse human writings and texts generated by different LLMs. Empirical results show challenges in distinguishing machine-generated texts from human-authored ones across various scenarios, especially out-of-distribution. These challenges are due to the decreasing linguistic distinctions between the two sources. Despite challenges, the top-performing detector can identify 86.54% out-of-domain texts generated by a new LLM, indicating the feasibility for application scenarios. We release our resources at https://github.com/yafuly/MAGE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google