要約
SemEval-2024 タスク 8: マルチジェネレーター、マルチドメイン、および多言語の機械生成テキストの検出の結果と主な調査結果を紹介します。
このタスクには 3 つのサブタスクがありました。
サブタスク A は、テキストが人間によって書かれたのか、それとも機械によって生成されたのかを判断するバイナリ分類タスクです。
このサブタスクには、英語のテキストのみに焦点を当てた単言語トラックと多言語トラックの 2 つのトラックがあります。
サブタスク B は、テキストの正確なソースを検出し、それが人間によって書かれたのか、特定の LLM によって生成されたのかを識別することです。
サブタスク C は、著者が人間から機械に移行するテキスト内の変化点を特定することを目的としています。
このタスクには多数の参加者が集まりました: サブタスク A 単言語 (126 名)、サブタスク A 多言語 (59 名)、サブタスク B (70 名)、サブタスク C (30 名)。
このペーパーでは、タスクを提示し、結果を分析し、システムの提出と使用された方法について説明します。
すべてのサブタスクにおいて、最良のシステムは LLM を使用していました。
要約(オリジナル)
We present the results and the main findings of SemEval-2024 Task 8: Multigenerator, Multidomain, and Multilingual Machine-Generated Text Detection. The task featured three subtasks. Subtask A is a binary classification task determining whether a text is written by a human or generated by a machine. This subtask has two tracks: a monolingual track focused solely on English texts and a multilingual track. Subtask B is to detect the exact source of a text, discerning whether it is written by a human or generated by a specific LLM. Subtask C aims to identify the changing point within a text, at which the authorship transitions from human to machine. The task attracted a large number of participants: subtask A monolingual (126), subtask A multilingual (59), subtask B (70), and subtask C (30). In this paper, we present the task, analyze the results, and discuss the system submissions and the methods they used. For all subtasks, the best systems used LLMs.
arxiv情報
| 著者 | Yuxia Wang,Jonibek Mansurov,Petar Ivanov,Jinyan Su,Artem Shelmanov,Akim Tsvigun,Osama Mohammed Afzal,Tarek Mahmoud,Giovanni Puccetti,Thomas Arnold,Chenxi Whitehouse,Alham Fikri Aji,Nizar Habash,Iryna Gurevych,Preslav Nakov |
| 発行日 | 2024-04-22 13:56:07+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google