A Simple yet Efficient Ensemble Approach for AI-generated Text Detection

要約

最近の大規模言語モデル (LLM) は、幅広いスタイルやジャンルにわたって人間の文章によく似たテキストを生成する際に、優れた機能を実証しています。
ただし、このような機能は、フェイクニュースの生成、スパムメールの作成、学業での悪用など、悪用される可能性があります。
したがって、人工的に生成されたテキストと人間が作成したテキストを区別できる自動化されたアプローチを構築することが不可欠です。
この論文では、複数の構成要素 LLM からの予測をアンサンブルすることにより、この問題に対するシンプルかつ効率的な解決策を提案します。
パープレキシティ ベースまたは多数の LLM を使用したアンサンブルを使用する以前の最先端のアプローチと比較して、当社の凝縮アンサンブル アプローチでは、構成要素となる LLM を 2 つだけ使用して、同等のパフォーマンスを達成します。
生成テキスト分類の 4 つのベンチマーク データセットに対して実施された実験では、以前の最先端のアプローチと比較して、0.5 ～ 100\% の範囲でパフォーマンスが向上したことが示されています。
また、個々の LLM からのトレーニング データがモデルのパフォーマンスに与える影響も研究します。
商業的に制限のある生成事前トレーニング済みトランスフォーマー (GPT) データを、Falcon、ラージ言語モデル メタ AI (LLaMA2)、モザイク事前トレーニング済みトランスフォーマー (MPT) などの他のオープン言語モデルから生成されたデータで置き換えることが、開発時に実行可能な代替手段であることがわかりました。
生成テキスト検出器。
さらに、ゼロショット一般化を実証するために、英語のエッセイ データセットを実験しました。結果は、アンサンブル アプローチが新しいデータを効果的に処理できることを示唆しています。

要約(オリジナル)

Recent Large Language Models (LLMs) have demonstrated remarkable capabilities in generating text that closely resembles human writing across wide range of styles and genres. However, such capabilities are prone to potential abuse, such as fake news generation, spam email creation, and misuse in academic assignments. Hence, it is essential to build automated approaches capable of distinguishing between artificially generated text and human-authored text. In this paper, we propose a simple yet efficient solution to this problem by ensembling predictions from multiple constituent LLMs. Compared to previous state-of-the-art approaches, which are perplexity-based or uses ensembles with a number of LLMs, our condensed ensembling approach uses only two constituent LLMs to achieve comparable performance. Experiments conducted on four benchmark datasets for generative text classification show performance improvements in the range of 0.5 to 100\% compared to previous state-of-the-art approaches. We also study the influence the training data from individual LLMs have on model performance. We found that substituting commercially-restrictive Generative Pre-trained Transformer (GPT) data with data generated from other open language models such as Falcon, Large Language Model Meta AI (LLaMA2), and Mosaic Pretrained Transformers (MPT) is a feasible alternative when developing generative text detectors. Furthermore, to demonstrate zero-shot generalization, we experimented with an English essays dataset, and results suggest that our ensembling approach can handle new data effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google