LLM-as-a-Coauthor: The Challenges of Detecting LLM-Human Mixcase

要約

大規模言語モデル (LLM) の目覚ましい発展と広範な応用に伴い、機械生成テキスト (MGT) の使用がますます一般的になってきています。
この傾向は、特にニュースや教育などの分野の情報の品質と完全性に潜在的なリスクをもたらします。
現在の研究は主に純粋な MGT の検出に取り組んでおり、AI によって改訂された人間が書いたテキスト (HWT) や人間によって改訂された MGT などの混合シナリオには適切に対処していません。
この課題に対処するために、機械生成コンテンツと人間生成コンテンツの両方を含むハイブリッド テキスト形式を表す新しい概念であるミックスケースを導入します。
私たちは、毎日の複数のテキスト編集シナリオから生成されたミックスケース インスタンスを収集し、これらの混合変更シナリオの研究専用の最初のデータセットである MixSet を構成しました。
当社では、一般的な MGT 検出器の有効性を評価するための実験を実施し、その有効性、堅牢性、一般化パフォーマンスを評価します。
私たちの調査結果から、既存の検出器は、特に微妙な変更やスタイルの適応性を扱う際に、ミックスケースを別のクラスまたは MGT として識別するのに苦労していることが明らかになりました。
この研究は、ミックスケースに合わせて調整されたよりきめの細かい検出器が緊急に必要であることを強調しており、将来の研究に貴重な洞察を提供します。
コードとモデルは https://github.com/Dongping-Chen/MixSet で入手できます。

要約(オリジナル)

With the remarkable development and widespread applications of large language models (LLMs), the use of machine-generated text (MGT) is becoming increasingly common. This trend brings potential risks, particularly to the quality and completeness of information in fields such as news and education. Current research predominantly addresses the detection of pure MGT without adequately addressing mixed scenarios including AI-revised Human-Written Text (HWT) or human-revised MGT. To confront this challenge, we introduce mixcase, a novel concept representing a hybrid text form involving both machine-generated and human-generated content. We collected mixcase instances generated from multiple daily text-editing scenarios and composed MixSet, the first dataset dedicated to studying these mixed modification scenarios. We conduct experiments to evaluate the efficacy of popular MGT detectors, assessing their effectiveness, robustness, and generalization performance. Our findings reveal that existing detectors struggle to identify mixcase as a separate class or MGT, particularly in dealing with subtle modifications and style adaptability. This research underscores the urgent need for more fine-grain detectors tailored for mixcase, offering valuable insights for future research. Code and Models are available at https://github.com/Dongping-Chen/MixSet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google