Robust and Fine-Grained Detection of AI Generated Texts

要約

マシン生成コンテンツの理想的な検出システムは、より多くの高度なLLMが日々存在するため、あらゆる発電機でうまく機能するはずです。
既存のシステムは、短いテキストよりもAIに生成されたコンテンツを正確に識別することに苦労しています。
さらに、すべてのテキストが人間またはLLMによって完全に執筆されるわけではないため、部分的なケース、つまり人間のllmの共著テキストに焦点を当てました。
私たちの論文では、トークン分類のタスクのために構築された一連のモデルを紹介します。トークン分類は、目に見えないドメイン、目に見えないジェネレーター、非ネイティブスピーカーによるテキスト、および逆境の入力を持つテキストのテキストよりもかなり上回っている、人間のマシンの共著テキストの広範なコレクションで訓練されています。
また、23の言語を超えるいくつかの人気のあるLLMによって主に共著される2.4mを超えるこのようなテキストの新しいデータセットを紹介します。
また、各ドメインとジェネレーターの各テキストに対するモデルのパフォーマンスの調査結果を提示します。
追加の調査結果には、各敵対的な方法とのパフォーマンスの比較、入力テキストの長さ、元の人間の著者テキストと比較した生成されたテキストの特性が含まれます。

要約(オリジナル)

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models’ performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google