Spotting AI’s Touch: Identifying LLM-Paraphrased Spans in Text

要約

強力な言語モデルが人間レベルの生成に近づくにつれて、AI によって生成されたテキスト検出がますます注目を集めています。
AI によって（部分的に）言い換えられたテキストの検出には、限られた作業が費やされます。
ただし、AI 言い換えは、テキストの洗練と多様性を目的として、さまざまなアプリケーション シナリオで一般的に使用されています。
この目的を達成するために、我々は、テキスト内の言い換えテキスト スパンを識別することを目的とした、新しい検出フレームワークである言い換えテキスト スパン検出 (PTD) を提案します。
テキストレベルの検出とは異なり、PTD は全文を取得し、各文に言い換えの程度を示すスコアを割り当てます。
言い換えテキスト スパン検出用に専用のデータセット PASTED を構築します。
配布中と配布外の両方の結果は、AI によって言い換えられたテキスト スパンを識別する際の PTD モデルの有効性を示しています。
統計およびモデル分析により、言い換えられたテキスト範囲の周囲のコンテキストの重要な役割が説明されます。
広範な実験により、PTD モデルは多用途の言い換えプロンプトや複数の言い換えテキスト スパンに一般化できることが示されています。
リソースは https://github.com/Linzwcs/PASTED でリリースされます。

要約(オリジナル)

AI-generated text detection has attracted increasing attention as powerful language models approach human-level generation. Limited work is devoted to detecting (partially) AI-paraphrased texts. However, AI paraphrasing is commonly employed in various application scenarios for text refinement and diversity. To this end, we propose a novel detection framework, paraphrased text span detection (PTD), aiming to identify paraphrased text spans within a text. Different from text-level detection, PTD takes in the full text and assigns each of the sentences with a score indicating the paraphrasing degree. We construct a dedicated dataset, PASTED, for paraphrased text span detection. Both in-distribution and out-of-distribution results demonstrate the effectiveness of PTD models in identifying AI-paraphrased text spans. Statistical and model analysis explains the crucial role of the surrounding context of the paraphrased text spans. Extensive experiments show that PTD models can generalize to versatile paraphrasing prompts and multiple paraphrased text spans. We release our resources at https://github.com/Linzwcs/PASTED.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google