SeqXGPT: Sentence-Level AI-Generated Text Detection

要約

広く適用されている大規模言語モデル (LLM) は人間のようなコンテンツを生成する可能性があり、LLM の悪用に関する懸念が生じています。
したがって、強力な AI 生成テキスト (AIGT) 検出器を構築することが重要です。
現在の研究では文書レベルの AIGT 検出のみが考慮されているため、この論文ではまず、LLM で洗練された文書を含むデータセットを合成することにより、文レベルの検出の課題を導入します。つまり、文書には人間が書いた文と文章が含まれています。
LLM によって変更されました。
次に、ホワイトボックス LLM からの対数確率リストを文レベルの AIGT 検出の特徴として利用する新しい方法である \textbf{Seq}uence \textbf{X} (Check) \textbf{GPT} を提案します。
これらの特徴は音声処理における \textit{waves} のように構成されており、LLM によって研究することはできません。
したがって、畳み込みネットワークとセルフアテンション ネットワークに基づいて SeqXGPT を構築します。
文レベルとドキュメントレベルの両方の検出課題でテストします。
実験結果は、以前の方法は文レベルの AIGT 検出を解決するのに苦労していることを示していますが、私たちの方法は文レベルと文書レベルの両方の検出課題においてベースライン方法を大幅に上回っているだけでなく、強力な一般化機能も示しています。

要約(オリジナル)

Widely applied large language models (LLMs) can generate human-like content, raising concerns about the abuse of LLMs. Therefore, it is important to build strong AI-generated text (AIGT) detectors. Current works only consider document-level AIGT detection, therefore, in this paper, we first introduce a sentence-level detection challenge by synthesizing a dataset that contains documents that are polished with LLMs, that is, the documents contain sentences written by humans and sentences modified by LLMs. Then we propose \textbf{Seq}uence \textbf{X} (Check) \textbf{GPT}, a novel method that utilizes log probability lists from white-box LLMs as features for sentence-level AIGT detection. These features are composed like \textit{waves} in speech processing and cannot be studied by LLMs. Therefore, we build SeqXGPT based on convolution and self-attention networks. We test it in both sentence and document-level detection challenges. Experimental results show that previous methods struggle in solving sentence-level AIGT detection, while our method not only significantly surpasses baseline methods in both sentence and document-level detection challenges but also exhibits strong generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google