Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection

要約

自然言語生成は、大規模言語モデル (LLM) の出現により急速に発展しています。
これらの使用法は一般の人々から大きな注目を集めていますが、読者はテキストの一部が LLM によって生成されたものであることに注意することが重要です。
このため、そのようなコンテンツによる潜在的なマイナスの結果を軽減する目的で、自動 LLM 生成テキスト検出を可能にするモデルを構築する必要性が生じています。
既存の LLM 生成検出器は、LLM 生成テキストと人間が書いたテキストを区別する点で競合するパフォーマンスを示しますが、言い換えられたテキストを考慮すると、このパフォーマンスは低下する可能性があります。
この研究では、人間が書いたテキストと言い換えだけでなく、LLM が生成したテキストと言い換えも組み込んだ、この種では初のデータセットである Human & LLM Paraphrase Collection (HLPC) を収集するための新しいデータ収集戦略を考案しました。
最先端の LLM 生成テキスト検出器 OpenAI RoBERTa および透かし検出器のパフォーマンスに対する人間の書いた言い換えの影響を理解することを目的として、透かし入りおよび透かしなしの人間が書いた言い換えを組み込んだ分類実験を実行します。
GPT および OPT からの LLM 生成ドキュメント、および DIPPER および BART からの LLM 生成の言い換え。
結果は、人間が書いた言い換えを含めると、LLM で生成された検出器のパフォーマンスに重大な影響を及ぼし、AUROC と精度のトレードオフの可能性を伴う TPR@1%FPR を促進することを示しています。

要約(オリジナル)

Natural Language Generation has been rapidly developing with the advent of large language models (LLMs). While their usage has sparked significant attention from the general public, it is important for readers to be aware when a piece of text is LLM-generated. This has brought about the need for building models that enable automated LLM-generated text detection, with the aim of mitigating potential negative outcomes of such content. Existing LLM-generated detectors show competitive performances in telling apart LLM-generated and human-written text, but this performance is likely to deteriorate when paraphrased texts are considered. In this study, we devise a new data collection strategy to collect Human & LLM Paraphrase Collection (HLPC), a first-of-its-kind dataset that incorporates human-written texts and paraphrases, as well as LLM-generated texts and paraphrases. With the aim of understanding the effects of human-written paraphrases on the performance of state-of-the-art LLM-generated text detectors OpenAI RoBERTa and watermark detectors, we perform classification experiments that incorporate human-written paraphrases, watermarked and non-watermarked LLM-generated documents from GPT and OPT, and LLM-generated paraphrases from DIPPER and BART. The results show that the inclusion of human-written paraphrases has a significant impact of LLM-generated detector performance, promoting TPR@1%FPR with a possible trade-off of AUROC and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google