Stylometric Detection of AI-Generated Text in Twitter Timelines

要約

事前トレーニング済み言語モデルの最近の進歩により、人間のようなテキストを大規模に生成するための便利な方法が可能になりました。
これらの生成機能は画期的なアプリケーションの大きな可能性を秘めていますが、敵対者が誤った情報を生成するためのツールにもなり得ます。
特に、Twitter のようなソーシャル メディア プラットフォームは、AI が生成する誤報の影響を非常に受けやすくなっています。
潜在的な脅威シナリオは、敵対者が信頼できるユーザー アカウントを乗っ取り、自然言語ジェネレーターを組み込んで誤った情報を生成する場合です。
このような脅威には、特定のユーザーの Twitter タイムラインで AI が生成したツイートの自動検出機能が必要です。
ただし、ツイートは本質的に短いため、現在の最先端の事前トレーニング済み言語モデルベースの検出器が、特定の Twitter タイムラインで AI がツイートの生成を開始する時点を正確に検出することは困難です。
このホワイト ペーパーでは、スタイル メトリック信号を使用して、AI が生成したツイートの検出を支援する新しいアルゴリズムを紹介します。
タスク 1 – 人間と AI によって生成されたツイートを区別し、タスク 2 – AI が特定の Twitter タイムラインでツイートを生成し始めるかどうか、およびいつ生成するかを検出します。
私たちの広範な実験は、スタイロメトリック機能が最先端の AI 生成テキスト検出器を強化するのに効果的であることを示しています。

要約(オリジナル)

Recent advancements in pre-trained language models have enabled convenient methods for generating human-like text at a large scale. Though these generation capabilities hold great potential for breakthrough applications, it can also be a tool for an adversary to generate misinformation. In particular, social media platforms like Twitter are highly susceptible to AI-generated misinformation. A potential threat scenario is when an adversary hijacks a credible user account and incorporates a natural language generator to generate misinformation. Such threats necessitate automated detectors for AI-generated tweets in a given user’s Twitter timeline. However, tweets are inherently short, thus making it difficult for current state-of-the-art pre-trained language model-based detectors to accurately detect at what point the AI starts to generate tweets in a given Twitter timeline. In this paper, we present a novel algorithm using stylometric signals to aid detecting AI-generated tweets. We propose models corresponding to quantifying stylistic changes in human and AI tweets in two related tasks: Task 1 – discriminate between human and AI-generated tweets, and Task 2 – detect if and when an AI starts to generate tweets in a given Twitter timeline. Our extensive experiments demonstrate that the stylometric features are effective in augmenting the state-of-the-art AI-generated text detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google