要約
ChatGPT はその優れたパフォーマンスにより大きな関心を集めていますが、人々はその潜在的なリスク、特に訓練を受けていない人間が特定するのが難しい AI 生成コンテンツ (AIGC) の検出に関してますます懸念を抱いています。
ChatGPT で生成されたテキストの検出に利用されている現在のデータセットは主に質問応答を中心としていますが、要約、翻訳、言い換えなどの意味的に不変の特性を持つタスクは無視される傾向があります。
私たちの主な研究では、意味的に不変なタスクでモデルが生成したテキストを検出するのはより困難であることが実証されています。
このギャップを埋めるために、意味的に不変のタスクを含む、以前の研究よりも多くの種類のタスクを考慮する、より広範で包括的なデータセットを導入します。
さらに、タスク命令の微調整を数多く行った後のモデルは、非常に強力なパフォーマンスを示します。
前回の成功を受けて、Tk-instruct の微調整をさらに指示し、より強力な検出システムを構築しました。
実験結果は、私たちが提案した検出器が以前の最先端のRoBERTaベースの検出器よりも優れていることを示しています。
要約(オリジナル)
ChatGPT has gained significant interest due to its impressive performance, but people are increasingly concerned about its potential risks, particularly around the detection of AI-generated content (AIGC), which is often difficult for untrained humans to identify. Current datasets utilized for detecting ChatGPT-generated text primarily center around question-answering, yet they tend to disregard tasks that possess semantic-invariant properties, such as summarization, translation, and paraphrasing. Our primary studies demonstrate that detecting model-generated text on semantic-invariant tasks is more difficult. To fill this gap, we introduce a more extensive and comprehensive dataset that considers more types of tasks than previous work, including semantic-invariant tasks. In addition, the model after a large number of task instruction fine-tuning shows a strong powerful performance. Owing to its previous success, we further instruct fine-tuning Tk-instruct and built a more powerful detection system. Experimental results show that our proposed detector outperforms the previous state-of-the-art RoBERTa-based detector.
arxiv情報
| 著者 | Zhenpeng Su,Xing Wu,Wei Zhou,Guangyuan Ma,Songlin Hu |
| 発行日 | 2023-09-06 05:33:57+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google