Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text

要約

事前トレーニング済み言語モデル (PLM) によるテキスト生成は大幅に進歩しましたが、人間が生成したテキストと機械が生成したテキストを区別することは、ますます課題となっています。
このペーパーでは、このタスクに対処するために使用される 3 つの異なる方法、つまり従来の浅い学習、言語モデル (LM) の微調整、および多言語モデルの微調整の詳細な評価を提供します。
これらのアプローチは、機械が生成した広範囲のテキストに対して厳密にテストされており、人間が作成した言語構造と機械が作成した言語構造を区別する能力のベンチマークを提供します。
この結果は、メソッドごとにパフォーマンスに大きな違いがあることを明らかにしており、NLP のこの重要な領域における継続的な進歩の必要性を強調しています。
この研究は貴重な洞察を提供し、堅牢で識別力の高いモデルの作成を目的とした将来の研究への道を開きます。

要約(オリジナル)

Significant progress has been made on text generation by pre-trained language models (PLMs), yet distinguishing between human and machine-generated text poses an escalating challenge. This paper offers an in-depth evaluation of three distinct methods used to address this task: traditional shallow learning, Language Model (LM) fine-tuning, and Multilingual Model fine-tuning. These approaches are rigorously tested on a wide range of machine-generated texts, providing a benchmark of their competence in distinguishing between human-authored and machine-authored linguistic constructs. The results reveal considerable differences in performance across methods, thus emphasizing the continued need for advancement in this crucial area of NLP. This study offers valuable insights and paves the way for future research aimed at creating robust and highly discriminative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google