AI-Generated Faces in the Real World: A Large-Scale Case Study of Twitter Profile Images

要約

生成型人工知能 (AI) の分野における最近の進歩により、本物のコンテンツと機械生成されたコンテンツの間の境界線が曖昧になり、人間がそのようなメディアを区別することはほとんど不可能になりました。
注目すべき結果の 1 つは、ソーシャル メディア上の偽プロフィールに AI 生成画像が使用されていることです。
過去に数種類の偽情報キャンペーンや同様の事件が報告されているが、体系的な分析は不足している。
この研究では、Twitter 上で AI が生成したプロフィール写真の普及に関する初の大規模調査を実施します。
私たちは、さまざまなデータソースを慎重に統合し、多段階の検出パイプラインを設計することで、実世界の測定研究の課題に取り組みます。
約 1,500 万枚の Twitter プロフィール写真を分析したところ、0.052% が人工的に生成されたものであり、プラットフォーム上で注目すべき存在であることが確認されました。
これらのアカウントの特徴とツイートの内容を包括的に調査し、連携して不正な動作が行われるパターンを明らかにします。
この結果では、スパム行為や政治的増幅キャンペーンなど、いくつかの動機も明らかになりました。
私たちの研究は、将来の生成型 AI の潜在的な悪影響に対処するための効果的な検出および軽減戦略の必要性を再確認しています。

要約(オリジナル)

Recent advances in the field of generative artificial intelligence (AI) have blurred the lines between authentic and machine-generated content, making it almost impossible for humans to distinguish between such media. One notable consequence is the use of AI-generated images for fake profiles on social media. While several types of disinformation campaigns and similar incidents have been reported in the past, a systematic analysis has been lacking. In this work, we conduct the first large-scale investigation of the prevalence of AI-generated profile pictures on Twitter. We tackle the challenges of a real-world measurement study by carefully integrating various data sources and designing a multi-stage detection pipeline. Our analysis of nearly 15 million Twitter profile pictures shows that 0.052% were artificially generated, confirming their notable presence on the platform. We comprehensively examine the characteristics of these accounts and their tweet content, and uncover patterns of coordinated inauthentic behavior. The results also reveal several motives, including spamming and political amplification campaigns. Our research reaffirms the need for effective detection and mitigation strategies to cope with the potential negative effects of generative AI in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google