Multiscale Positive-Unlabeled Detection of AI-Generated Texts

要約

大規模言語モデル (LLM) の最近のリリース。
ChatGPT は人間のようなテキストを生成することに驚くべきものですが、テキストの信頼性に影響を与える可能性があります。
これまでの研究では、単純な ML 分類器、事前トレーニング済みモデルベースのゼロショット法、微調整された言語分類モデルなど、AI によって生成されたテキストを検出する方法が提案されていました。
ただし、主流の検出器は、SMS、ツイート、レビューなどの短いテキストでは常に失敗します。
この論文では、長文を犠牲にすることなく短文検出の難しさに対処するために、Multiscale Positive-Unlabeled (MPU) トレーニング フレームワークを提案します。
まず、短い機械テキストの人間類似特性を認め、これらの短い機械テキストを部分的に「ラベルなし」と見なすことによって、AI テキスト検出を部分的なラベルなし (PU) 問題として言い換えます。
次に、この PU コンテキストで、長さに敏感なマルチスケール PU 損失を提案します。この場合、抽象化されたリカレント モデルを使用して、スケール バリアント コーパスの正の事前分布を推定します。
さらに、トレーニング コーパスを強化するために Text Multiscaling モジュールを導入します。
実験の結果、私たちの MPU メソッドは AI が生成した長いテキストの検出パフォーマンスを強化し、言語モデル検出器の短いテキストの検出を大幅に向上させることが示されました。
MPU でトレーニングされた言語モデルは、さまざまな短文および長文検出ベンチマークで既存の検出器を上回る可能性があります。
コードは https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt および https://github.com/YuchuanTian/AIGC_text_detector で入手できます。

要約(オリジナル)

Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are astonishing at generating human-like texts, but they may impact the authenticity of texts. Previous works proposed methods to detect these AI-generated texts, including simple ML classifiers, pretrained-model-based zero-shot methods, and finetuned language classification models. However, mainstream detectors always fail on short texts, like SMSes, Tweets, and reviews. In this paper, a Multiscale Positive-Unlabeled (MPU) training framework is proposed to address the difficulty of short-text detection without sacrificing long-texts. Firstly, we acknowledge the human-resemblance property of short machine texts, and rephrase AI text detection as a partial Positive-Unlabeled (PU) problem by regarding these short machine texts as partially ‘unlabeled’. Then in this PU context, we propose the length-sensitive Multiscale PU Loss, where a recurrent model in abstraction is used to estimate positive priors of scale-variant corpora. Additionally, we introduce a Text Multiscaling module to enrich training corpora. Experiments show that our MPU method augments detection performance on long AI-generated texts, and significantly improves short-text detection of language model detectors. Language Models trained with MPU could outcompete existing detectors on various short-text and long-text detection benchmarks. The codes are available at https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt and https://github.com/YuchuanTian/AIGC_text_detector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google