要約
この研究では、人間と AI が連携するハイブリッド テキスト内で AI が生成した文レベルのテキスト検出の課題を調査します。
ハイブリッド テキストに対する AI 生成のテキスト検出に関する既存の研究は、多くの場合、合成データセットに依存しています。
これらには通常、限られた数の境界を持つハイブリッド テキストが含まれます。
私たちは、ハイブリッド テキスト内の AI 生成コンテンツを検出する研究では、現実世界のアプリケーションにより良い情報を提供するために、現実的な設定で生成されたさまざまなタイプのハイブリッド テキストを対象にする必要があると主張します。
したがって、私たちの研究では、マルチターンインタラクションにおける人間のライターとインテリジェントライティングシステムとのコラボレーションを通じて生成された、多様で現実的なハイブリッドテキストを含むCoAuthorデータセットを利用します。
私たちは 2 段階のセグメンテーション ベースのパイプラインを採用します。(i) 特定のハイブリッド テキスト内で、各セグメントに一貫した著者名の文が含まれるセグメントを検出し、(ii) 識別された各セグメントの著者名を分類します。
私たちの経験的調査結果は、(1) ハイブリッド テキスト内で AI が生成した文を検出することは、全体的に困難な作業であることを強調しています。その理由は、(1.1) 人間の書き手が個人的な好みに基づいて AI が生成した文を選択し、編集することさえあるため、分節の作成者の特定がさらに困難になるからです。
(1.2) ハイブリッド テキスト内の隣接する文間で著者名が頻繁に変更されるため、セグメント検出器が著者名に一貫性のあるセグメントを識別することが困難になります。
(1.3) ハイブリッド テキスト内のテキスト セグメントの長さが短いため、信頼できる著者決定のための限られた文体上の手がかりが提供されます。
(2) 検出プロセスに着手する前に、ハイブリッド テキスト内のセグメントの平均長を評価することが有益です。
この評価は、(2.1) 長いセグメントを持つハイブリッド テキストに対してテキスト セグメンテーション ベースの戦略を採用するか、(2.2) 短いセグメントを持つハイブリッド テキストに対して直接文ごとの分類戦略を採用するかを決定するのに役立ちます。
要約(オリジナル)
This study explores the challenge of sentence-level AI-generated text detection within human-AI collaborative hybrid texts. Existing studies of AI-generated text detection for hybrid texts often rely on synthetic datasets. These typically involve hybrid texts with a limited number of boundaries. We contend that studies of detecting AI-generated content within hybrid texts should cover different types of hybrid texts generated in realistic settings to better inform real-world applications. Therefore, our study utilizes the CoAuthor dataset, which includes diverse, realistic hybrid texts generated through the collaboration between human writers and an intelligent writing system in multi-turn interactions. We adopt a two-step, segmentation-based pipeline: (i) detect segments within a given hybrid text where each segment contains sentences of consistent authorship, and (ii) classify the authorship of each identified segment. Our empirical findings highlight (1) detecting AI-generated sentences in hybrid texts is overall a challenging task because (1.1) human writers’ selecting and even editing AI-generated sentences based on personal preferences adds difficulty in identifying the authorship of segments; (1.2) the frequent change of authorship between neighboring sentences within the hybrid text creates difficulties for segment detectors in identifying authorship-consistent segments; (1.3) the short length of text segments within hybrid texts provides limited stylistic cues for reliable authorship determination; (2) before embarking on the detection process, it is beneficial to assess the average length of segments within the hybrid text. This assessment aids in deciding whether (2.1) to employ a text segmentation-based strategy for hybrid texts with longer segments, or (2.2) to adopt a direct sentence-by-sentence classification strategy for those with shorter segments.
arxiv情報
| 著者 | Zijie Zeng,Shiqi Liu,Lele Sha,Zhuang Li,Kaixun Yang,Sannyuya Liu,Dragan Gašević,Guanliang Chen |
| 発行日 | 2024-05-07 10:40:06+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google