要約
最近、ChatGPT のような生成 AI が広く一般に利用できるようになりました。
これらのツールは、たとえば学生がエッセイや論文全体を作成するために使用できます。
しかし、教師はテキストが生徒によって書かれたのか、それとも AI によって書かれたのかをどのようにして知るのでしょうか?
私たちの研究では、(1) AI によって最初から生成されたテキストを検出する、および (2) AI によって言い換えられたテキストを検出するための従来の機能と新しい機能を調査します。
人間が AI によって生成されたことを認識できない方法でテキストを作成するように AI に指示した場合、分類がより困難になることがわかったので、このより高度なケースについても調査します。
実験のために、10 の学校トピックをカバーする新しいテキスト コーパスを作成しました。
人間が作成した/AI が作成した基本的なテキストと高度なテキストを分類するための当社の最良のシステムは、96% 以上の F1 スコアを持っています。
人間が生成した/AI が言い換えた基本的および高度なテキストを分類するための当社の最良のシステムは、78% 以上の F1 スコアを持っています。
このシステムでは、パープレキシティ、セマンティック、リスト検索、エラーベース、可読性、AI フィードバック、およびテキスト ベクトル機能を組み合わせて使用します。
私たちの結果は、新機能が多くの分類器のパフォーマンスを大幅に向上させるのに役立つことを示しています。
当社の最高の基本的なテキスト言い換え検出システムは、F1 スコアで GPTZero を 183.8% 上回っています。
要約(オリジナル)
Recently, generative AIs like ChatGPT have become available to the wide public. These tools can for instance be used by students to generate essays or whole theses. But how does a teacher know whether a text is written by a student or an AI? In our work, we explore traditional and new features to (1) detect text generated by AI from scratch and (2) text rephrased by AI. Since we found that classification is more difficult when the AI has been instructed to create the text in a way that a human would not recognize that it was generated by an AI, we also investigate this more advanced case. For our experiments, we produced a new text corpus covering 10 school topics. Our best systems to classify basic and advanced human-generated/AI-generated texts have F1-scores of over 96%. Our best systems for classifying basic and advanced human-generated/AI-rephrased texts have F1-scores of more than 78%. The systems use a combination of perplexity, semantic, list lookup, error-based, readability, AI feedback, and text vector features. Our results show that the new features substantially help to improve the performance of many classifiers. Our best basic text rephrasing detection system even outperforms GPTZero by 183.8% relative in F1-score.
arxiv情報
| 著者 | Lorenz Mindner,Tim Schlippe,Kristina Schaaff |
| 発行日 | 2023-08-10 05:09:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google