AI-generated text boundary detection with RoFT

要約

大規模な言語モデルの急速な発展により、最初は人間が書いたように始まり、その後は機械が生成したテキストに遭遇することがますます多くなってきています。
このようなテキストの人間が書いた部分と機械が生成した部分との境界を検出することは、文献ではあまり注目されていない難しい問題です。
私たちはこのギャップを埋めることを試み、最先端の人工テキスト検出分類子を境界検出設定に適応させるいくつかの方法を検討します。
私たちは、いくつかのトピックに関する短いテキストを含み、さまざまな言語モデルの世代を含む本物または偽物のテキスト ベンチマークを使用して、すべての検出機能を限界まで押し上げます。
私たちはこの多様性を利用して、クロスドメインおよびクロスモデル設定におけるすべての検出器の堅牢性を深く調査し、将来の研究のためのベースラインと洞察を提供します。
特に、境界検出に対するパープレキシティベースのアプローチは、RoBERTa モデルの教師あり微調整よりもドメイン固有のデータの特殊性に対してより堅牢である傾向があることがわかりました。
また、テキストのどの特徴が境界検出アルゴリズムを混乱させ、クロスドメイン設定でのパフォーマンスに悪影響を与えるのかも特定します。

要約(オリジナル)

Due to the rapid development of large language models, people increasingly often encounter texts that may start as written by a human but continue as machine-generated. Detecting the boundary between human-written and machine-generated parts of such texts is a challenging problem that has not received much attention in literature. We attempt to bridge this gap and examine several ways to adapt state of the art artificial text detection classifiers to the boundary detection setting. We push all detectors to their limits, using the Real or Fake text benchmark that contains short texts on several topics and includes generations of various language models. We use this diversity to deeply examine the robustness of all detectors in cross-domain and cross-model settings to provide baselines and insights for future research. In particular, we find that perplexity-based approaches to boundary detection tend to be more robust to peculiarities of domain-specific data than supervised fine-tuning of the RoBERTa model; we also find which features of the text confuse boundary detection algorithms and negatively influence their performance in cross-domain settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google