LLMDet: A Third Party Large Language Models Generated Text Detection Tool

要約

大規模言語モデル（LLM）から生成されたテキストは、人間が執筆した高品質のテキストに極めて近いため、虚偽情報の拡散や学術的不正行為に悪用される可能性が懸念されている。そのため、与えられたテキストの出典を正確に特定できる実用性の高い検出ツールが急務となっている。しかし、既存の検知ツールは、一般的にLLMへのアクセスに依存しており、機械生成テキストと人間が作成したテキストを区別することしかできず、きめ細かなトレース、中間判定、迅速な検知といった要件を満たすことができない。そこで、我々は、GPT-2、OPT、LLaMAなどの特定のLLMからテキストをソースとすることができる、モデル固有で、安全で、効率的で、拡張可能な検出ツールであるLLMDetを提案する。LLMDetでは、顕著なn-gramのネクストトークン確率を特徴量として記録し、各LLMの代理パープレキシティを計算する。LLMの代理当惑度を共同で分析することで、生成されたテキストのソースを決定することができる。実験結果によると、LLMDetは速度と安全性を確保しながら、人間が作成したテキストを認識する際に98.54%の精度と5.0倍の高速化を達成し、印象的な検出性能をもたらす。さらに、LLMDetはその検出能力を新しいオープンソースモデルに容易に拡張することができる。オープンソースツールは、https://github.com/TrustedLLM/LLMDet。

要約(オリジナル)

Generated texts from large language models (LLMs) are remarkably close to high-quality human-authored text, raising concerns about their potential misuse in spreading false information and academic misconduct. Consequently, there is an urgent need for a highly practical detection tool capable of accurately identifying the source of a given text. However, existing detection tools typically rely on access to LLMs and can only differentiate between machine-generated and human-authored text, failing to meet the requirements of fine-grained tracing, intermediary judgment, and rapid detection. Therefore, we propose LLMDet, a model-specific, secure, efficient, and extendable detection tool, that can source text from specific LLMs, such as GPT-2, OPT, LLaMA, and others. In LLMDet, we record the next-token probabilities of salient n-grams as features to calculate proxy perplexity for each LLM. By jointly analyzing the proxy perplexities of LLMs, we can determine the source of the generated text. Experimental results show that LLMDet yields impressive detection performance while ensuring speed and security, achieving 98.54% precision and x5.0 faster for recognizing human-authored text. Additionally, LLMDet can effortlessly extend its detection capabilities to a new open-source model. We will provide an open-source tool at https://github.com/TrustedLLM/LLMDet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL