要約
AI によって生成されたテキストは、さまざまなオンライン プラットフォームで急増しており、変革の可能性をもたらすと同時に、誤った情報や操作に関連する重大なリスクをもたらしています。
これらの課題に対処するため、この文書では、実際のソーシャル メディア プラットフォームにおける AI テキスト検出モデルの機能を評価するために開発された新しいベンチマークである SAID (ソーシャル メディア AI 検出) を紹介します。
Zhihu や Quora などの人気のソーシャル メディア プラットフォームから AI が生成した実際のテキストが組み込まれています。
既存のベンチマークとは異なり、SAID は、検出を回避したり可視性を獲得したりするインターネット上の実際の AI ユーザーが採用する高度な戦略を反映したコンテンツを扱い、より現実的で挑戦的な評価環境を提供します。
Zhihu データセットに基づく私たちの研究の注目すべき発見は、アノテーターが AI によって生成されたテキストと人間によって生成されたテキストを平均 96.5% の精度で区別できることを明らかにしました。
この発見により、今日の広範囲に AI の影響を受けた環境において、AI が生成したテキストを認識する人間の能力の再評価が必要になります。
さらに、ユーザー情報と複数の応答に基づいて AI が生成したテキストを識別する実用性と有効性に焦点を当てた、ユーザー指向の新しい AI テキスト検出の課題を提示します。
実験結果は、実際のソーシャル メディア プラットフォームで検出タスクを実行することは、従来のシミュレートされた AI テキスト検出と比較してより困難であることが判明し、結果として精度が低下することを示しています。
一方で、ユーザー指向のAI生成テキスト検出により、検出精度が大幅に向上します。
要約(オリジナル)
AI-generated text has proliferated across various online platforms, offering both transformative prospects and posing significant risks related to misinformation and manipulation. Addressing these challenges, this paper introduces SAID (Social media AI Detection), a novel benchmark developed to assess AI-text detection models’ capabilities in real social media platforms. It incorporates real AI-generate text from popular social media platforms like Zhihu and Quora. Unlike existing benchmarks, SAID deals with content that reflects the sophisticated strategies employed by real AI users on the Internet which may evade detection or gain visibility, providing a more realistic and challenging evaluation landscape. A notable finding of our study, based on the Zhihu dataset, reveals that annotators can distinguish between AI-generated and human-generated texts with an average accuracy rate of 96.5%. This finding necessitates a re-evaluation of human capability in recognizing AI-generated text in today’s widely AI-influenced environment. Furthermore, we present a new user-oriented AI-text detection challenge focusing on the practicality and effectiveness of identifying AI-generated text based on user information and multiple responses. The experimental results demonstrate that conducting detection tasks on actual social media platforms proves to be more challenging compared to traditional simulated AI-text detection, resulting in a decreased accuracy. On the other hand, user-oriented AI-generated text detection significantly improve the accuracy of detection.
arxiv情報
| 著者 | Wanyun Cui,Linqiu Zhang,Qianle Wang,Shuyang Cai |
| 発行日 | 2023-10-12 11:35:24+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google