LLM-as-a-Coauthor: Can Mixed Human-Written and Machine-Generated Text Be Detected?

要約

大規模言語モデル (LLM) の急速な開発と広範な適用に伴い、機械生成テキスト (MGT) の使用がますます一般的になり、特にニュース、教育、教育などの分野での品質と完全性の点で潜在的なリスクが生じています。
そして科学。
現在の研究は主に純粋な MGT 検出に焦点を当てており、AI によって改訂された人間が書いたテキスト (HWT) や人間によって改訂された MGT などの混合シナリオには適切に対処していません。
この課題に取り組むために、私たちは AI と人間が生成したコンテンツの両方を含む混合テキストの形式であるミックステキストを定義します。
次に、これらのミックステキスト シナリオの研究専用の最初のデータセットである MixSet を紹介します。
MixSet を活用して、ミックステキスト状況の処理における一般的な MGT 検出器の有効性を評価するための包括的な実験を実行し、有効性、堅牢性、一般化の観点からそのパフォーマンスを評価しました。
私たちの調査結果から、既存の検出器は、特に微妙な変更やスタイルの適応性を扱う際に、ミックステキストを識別するのに苦労していることが明らかになりました。
この研究は、ミックステキストに合わせて調整されたよりきめの細かい検出器が緊急に必要であることを強調しており、将来の研究に貴重な洞察を提供します。
コードとモデルは https://github.com/Dongping-Chen/MixSet で入手できます。

要約(オリジナル)

With the rapid development and widespread application of Large Language Models (LLMs), the use of Machine-Generated Text (MGT) has become increasingly common, bringing with it potential risks, especially in terms of quality and integrity in fields like news, education, and science. Current research mainly focuses on purely MGT detection without adequately addressing mixed scenarios, including AI-revised Human-Written Text (HWT) or human-revised MGT. To tackle this challenge, we define mixtext, a form of mixed text involving both AI and human-generated content. Then, we introduce MixSet, the first dataset dedicated to studying these mixtext scenarios. Leveraging MixSet, we executed comprehensive experiments to assess the efficacy of prevalent MGT detectors in handling mixtext situations, evaluating their performance in terms of effectiveness, robustness, and generalization. Our findings reveal that existing detectors struggle to identify mixtext, particularly in dealing with subtle modifications and style adaptability. This research underscores the urgent need for more fine-grain detectors tailored for mixtext, offering valuable insights for future research. Code and Models are available at https://github.com/Dongping-Chen/MixSet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google