To ChatGPT, or not to ChatGPT: That is the question!

要約

タイトル：To ChatGPT, or not to ChatGPT: That is the question!（ChatGPTにするか、しないか：それが問題だ！）

要約：
– ChatGPTは世界的なブームになっています。
– ChatGPTを含む大規模言語モデル（LLM）が登場したことにより、偽ニュースの拡散、剽窃、公の意見の操作、不正行為など、様々な方法で誤用される可能性が増しています。
– そこで、AIが生成したテキストと人間が生成したテキストを区別することがますます重要になっています。
– 本研究の主な目的は、ChatGPT検出の最新技術の包括的で現代的な評価を提供することです。
– さらに、ChatGPTが生成したコンテンツを特に検出することを主張していない他のAI生成テキスト検出ツールも評価しました。
– 評価のために、ChatGPTと人間からのプロンプト、医療、オープンQ＆A、金融領域からの多様な質問、人気のあるソーシャルネットワーキングプラットフォームからのユーザー生成の応答を含むベンチマークデータセットを編集しました。
– 評価結果は、既存のどの方法もChatGPTが生成したコンテンツを効果的に検出できないことを示しています。

要約(オリジナル)

ChatGPT has become a global sensation. As ChatGPT and other Large Language Models (LLMs) emerge, concerns of misusing them in various ways increase, such as disseminating fake news, plagiarism, manipulating public opinion, cheating, and fraud. Hence, distinguishing AI-generated from human-generated becomes increasingly essential. Researchers have proposed various detection methodologies, ranging from basic binary classifiers to more complex deep-learning models. Some detection techniques rely on statistical characteristics or syntactic patterns, while others incorporate semantic or contextual information to improve accuracy. The primary objective of this study is to provide a comprehensive and contemporary assessment of the most recent techniques in ChatGPT detection. Additionally, we evaluated other AI-generated text detection tools that do not specifically claim to detect ChatGPT-generated content to assess their performance in detecting ChatGPT-generated content. For our evaluation, we have curated a benchmark dataset consisting of prompts from ChatGPT and humans, including diverse questions from medical, open Q&A, and finance domains and user-generated responses from popular social networking platforms. The dataset serves as a reference to assess the performance of various techniques in detecting ChatGPT-generated content. Our evaluation results demonstrate that none of the existing methods can effectively detect ChatGPT-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI