Deepfake Text Detection in the Wild

要約

大規模言語モデルの最近の進歩により、人間と同等のテキスト生成レベルに達することが可能になりました。
これらのモデルは、ニュース記事の作成、ストーリーの生成、科学的な執筆など、幅広いコンテンツにわたって強力な機能を示します。
このような機能により、人間が作成したテキストと機械が生成したテキストの間のギャップがさらに狭まり、フェイクニュースの伝播や盗作などの潜在的なリスクを回避するためのディープフェイクテキスト検出の重要性が強調されます。
ただし、これまでの研究は、特定のドメインまたは特定の言語モデルのテストベッドでメソッドを検証するという点で制限されていました。
実際のシナリオでは、検出器は、ソースを知らずに、さまざまなドメインまたは LLM からのテキストに直面します。
この目的を達成するために、私たちはさまざまな人間の文章からのテキストと、さまざまな LLM によって生成されたディープフェイク テキストを収集して、野生のテストベッドを構築します。
人間のアノテーターは、機械が生成したテキストを識別する点で、ランダムな推測よりもわずかに優れているだけです。
自動検出方法に関する実証結果は、実際のテストベッドでのディープフェイク テキスト検出の課題をさらに示しています。
さらに、配布外であるため、現実的なアプリケーション シナリオで検出器を使用するのはさらに大きな課題となります。
リソースは https://github.com/yafuly/DeepfakeTextDetect でリリースされます。

要約(オリジナル)

Recent advances in large language models have enabled them to reach a level of text generation comparable to that of humans. These models show powerful capabilities across a wide range of content, including news article writing, story generation, and scientific writing. Such capability further narrows the gap between human-authored and machine-generated texts, highlighting the importance of deepfake text detection to avoid potential risks such as fake news propagation and plagiarism. However, previous work has been limited in that they testify methods on testbed of specific domains or certain language models. In practical scenarios, the detector faces texts from various domains or LLMs without knowing their sources. To this end, we build a wild testbed by gathering texts from various human writings and deepfake texts generated by different LLMs. Human annotators are only slightly better than random guessing at identifying machine-generated texts. Empirical results on automatic detection methods further showcase the challenges of deepfake text detection in a wild testbed. In addition, out-of-distribution poses a greater challenge for a detector to be employed in realistic application scenarios. We release our resources at https://github.com/yafuly/DeepfakeTextDetect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google