Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?

要約

ChatGPT などの大規模言語モデル (LLM) は、大規模なテキスト コンテンツ生成など、さまざまなユースケースで使用されることが増えています。
このような AI 生成テキストの検出方法はすでに存在しますが、データ ラベラーまたはアノテーターとして ChatGPT を使用する作品に触発されて、このような AI 生成テキストの検出器としての ChatGPT のパフォーマンスを調査します。
人間が書いたテキスト検出と AI が生成したテキスト検出のタスクにおける ChatGPT のゼロショット パフォーマンスを評価し、公開されているデータセットで実験を実行します。
ChatGPT が AI によって生成されたテキストまたは人間が書いたテキストの検出において対称的に効果的であるかどうかを経験的に調査します。
私たちの調査結果は、問題の特定の側面の解決に焦点を当て、残りの部分をそのソリューションから導き出すことによって、自動検出パイプラインで ChatGPT および同様の LLM をどのように活用できるかについての洞察を提供します。
すべてのコードとデータは \url{https://github.com/AmritaBh/ChatGPT-as-Detector} で入手できます。

要約(オリジナル)

Large language models (LLMs) such as ChatGPT are increasingly being used for various use cases, including text content generation at scale. Although detection methods for such AI-generated text exist already, we investigate ChatGPT’s performance as a detector on such AI-generated text, inspired by works that use ChatGPT as a data labeler or annotator. We evaluate the zero-shot performance of ChatGPT in the task of human-written vs. AI-generated text detection, and perform experiments on publicly available datasets. We empirically investigate if ChatGPT is symmetrically effective in detecting AI-generated or human-written text. Our findings provide insight on how ChatGPT and similar LLMs may be leveraged in automated detection pipelines by simply focusing on solving a specific aspect of the problem and deriving the rest from that solution. All code and data is available at \url{https://github.com/AmritaBh/ChatGPT-as-Detector}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google