HACo-Det: A Study Towards Fine-Grained Machine-Generated Text Detection under Human-AI Coauthoring

要約

大規模言語モデル（LLM）の誤用は潜在的なリスクをもたらすため、機械生成テキスト（MGT）検出の開発が動機づけられている。既存の文献は主にバイナリ、文書レベルの検出に集中しており、人間とLLMが共同で作成したテキストを無視している。そこで本稿では、人間とAIによる共著の下で、きめ細かなMGT検出の可能性を探る。我々は、きめ細かな検出が、AI比率を数値化した共著テキスト検出への道を開く可能性があることを示唆する。具体的には、HACo-Detというデータセットを提案する。このデータセットは、単語レベルの帰属ラベルを用いた自動パイプラインによって、人間とAIが共著したテキストを生成する。我々は、7つの一般的な文書レベル検出器を単語レベル検出に一般化するために改修する。そして、これらの検出器をHACo-Det上で単語レベルと文レベルの両方の検出タスクで評価する。その結果、メトリックベースの手法では平均F1スコアが0.462と、きめ細かい検出が困難であることがわかった。しかしながら、きめ細かな共著テキスト検出は解決には程遠いというのが我々の主張である。さらに、性能に影響を与える要因、例えばコンテキストウィンドウを分析し、現在の手法の限界を強調し、改善の可能性を指摘する。

要約(オリジナル)

The misuse of large language models (LLMs) poses potential risks, motivating the development of machine-generated text (MGT) detection. Existing literature primarily concentrates on binary, document-level detection, thereby neglecting texts that are composed jointly by human and LLM contributions. Hence, this paper explores the possibility of fine-grained MGT detection under human-AI coauthoring. We suggest fine-grained detectors can pave pathways toward coauthored text detection with a numeric AI ratio. Specifically, we propose a dataset, HACo-Det, which produces human-AI coauthored texts via an automatic pipeline with word-level attribution labels. We retrofit seven prevailing document-level detectors to generalize them to word-level detection. Then we evaluate these detectors on HACo-Det on both word- and sentence-level detection tasks. Empirical results show that metric-based methods struggle to conduct fine-grained detection with a 0.462 average F1 score, while finetuned models show superior performance and better generalization across domains. However, we argue that fine-grained co-authored text detection is far from solved. We further analyze factors influencing performance, e.g., context window, and highlight the limitations of current methods, pointing to potential avenues for improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL