Multiscale Positive-Unlabeled Detection of AI-Generated Texts

要約

大規模言語モデル (LLM) の最近のリリース。
ChatGPT は人間のようなテキストを生成することに驚くべきものですが、偽の学術テキスト、偽ニュース、偽ツイートなどに悪用される可能性があります。
これまでの研究では、単純な ML 分類器、事前トレーニング済みモデルベースのトレーニングに依存しない手法、微調整された言語分類モデルなど、こうしたマルチスケールの AI 生成テキストを検出する方法が提案されてきました。
ただし、主流の検出器はコーパスの長さの要素を考慮せずに定式化されています。短いコーパスは、有益な特徴が不足しているため、長いコーパスに比べて検出が困難です。
この論文では、マルチスケール テキスト検出の課題に対処するために、マルチスケール ポジティブ アンラベル (MPU) トレーニング フレームワークを提案します。
まず、短いマシン テキストが人間に似ているという特性を認識し、トレーニング中にこれらの短いマシン テキストを「ラベルなし」としてマークすることで、テキスト分類を Positive-Unlabeled (PU) 問題として言い換えます。
この PU コンテキストでは、長さに敏感なマルチスケール PU 損失を提案します。この手法では、抽象化されたリカレント モデルを使用して、スケール バリアント コーパスの正の事前分布を推定します。
さらに、トレーニング コーパスを強化するために Text Multiscaling モジュールを導入します。
実験では、私たちの MPU メソッドが AI によって生成された長いテキストの検出パフォーマンスを強化し、言語モデル検出器の短いコーパス検出を大幅に向上させることを示しています。
MPU でトレーニングされた言語モデルは、マルチスケール AI が生成したテキストに関して、既存の検出器を大幅に上回る可能性があります。
コードは https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt および https://github.com/huawei-noah/Efficient-Computing/AIGC_text_detector で入手できます。

要約(オリジナル)

Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are astonishing at generating human-like texts, but they may get misused for fake scholarly texts, fake news, fake tweets, et cetera. Previous works have proposed methods to detect these multiscale AI-generated texts, including simple ML classifiers, pretrained-model-based training-agnostic methods, and finetuned language classification models. However, mainstream detectors are formulated without considering the factor of corpus length: shorter corpuses are harder to detect compared with longer ones for shortage of informative features. In this paper, a Multiscale Positive-Unlabeled (MPU) training framework is proposed to address the challenge of multiscale text detection. Firstly, we acknowledge the human-resemblance property of short machine texts, and rephrase text classification as a Positive-Unlabeled (PU) problem by marking these short machine texts as ‘unlabeled’ during training. In this PU context, we propose the length-sensitive Multiscale PU Loss, where we use a recurrent model in abstraction to estimate positive priors of scale-variant corpuses. Additionally, we introduce a Text Multiscaling module to enrich training corpuses. Experiments show that our MPU method augments detection performance on long AI-generated text, and significantly improves short-corpus detection of language model detectors. Language Models trained with MPU could outcompete existing detectors by large margins on multiscale AI-generated texts. The codes are available at https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt and https://github.com/huawei-noah/Efficient-Computing/AIGC_text_detector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google