LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

要約

大規模な言語モデル（LLMS）へのアクセスの容易さにより、機械で生成されたテキストの広範囲になりましたが、今ではテキストが人間が書かれているのか、機械で構成されているのかを知るのが難しいことがよくあります。
これは、特に教育的および学問的な領域内で、潜在的な誤用に関する懸念を引き起こします。
したがって、プロセスを自動化できる実用的なシステムを開発することが重要です。
ここでは、そのようなシステム、LLM-DETECTAIVEを提示します。これは、細粒の検出用に設計されています。
バイナリ分類に焦点を当てたマシンで生成されたテキスト検出に関する以前のほとんどの作業とは異なり、LLM-DETECTAIVEは4つのカテゴリをサポートしています。
カテゴリ（III）は、テキストが機械制作されたという事実を難読化する試みを検出することを目的としていますが、カテゴリ（IV）は、LLMが人間が書いたテキストを磨くために使用された場合を探します。
私たちの実験は、LLM-決定的なものが上記の4つのカテゴリを効果的に特定できることを示しており、これにより、教育、学界、およびその他のドメインで潜在的に有用なツールになります。
LLM-Detectaiveは、https：//github.com/mbzuai-nlp/llm-detectaiveで公開されています。
システムを説明するビデオは、https：//youtu.be/e8et_be7k8cで入手できます。

要約(オリジナル)

The ease of access to large language models (LLMs) has enabled a widespread of machine-generated texts, and now it is often hard to tell whether a piece of text was human-written or machine-generated. This raises concerns about potential misuse, particularly within educational and academic domains. Thus, it is important to develop practical systems that can automate the process. Here, we present one such system, LLM-DetectAIve, designed for fine-grained detection. Unlike most previous work on machine-generated text detection, which focused on binary classification, LLM-DetectAIve supports four categories: (i) human-written, (ii) machine-generated, (iii) machine-written, then machine-humanized, and (iv) human-written, then machine-polished. Category (iii) aims to detect attempts to obfuscate the fact that a text was machine-generated, while category (iv) looks for cases where the LLM was used to polish a human-written text, which is typically acceptable in academic writing, but not in education. Our experiments show that LLM-DetectAIve can effectively identify the above four categories, which makes it a potentially useful tool in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://github.com/mbzuai-nlp/LLM-DetectAIve. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google