要約
画像は、誤解を招くメッセージやまったくの虚偽のメッセージを伝えるための強力かつ即時的な手段ですが、画像ベースの誤った情報を大規模に特定するには特有の課題が生じます。
このペーパーでは、知覚ハッシュ、ベクトル データベース、光学式文字認識 (OCR) を活用して、Twitter 上でソフト モデレーション ラベルを受け取る候補となる画像を効率的に識別するシステムである PIXELMOD を紹介します。
PIXELMOD がソフト モデレーションに適用された場合、パフォーマンスのオーバーヘッドが無視できる程度で、既存の画像類似性アプローチよりも優れたパフォーマンスを発揮することを示します。
次に、2020 年の米国大統領選挙に関するツイートのデータセットで PIXELMOD をテストしたところ、ソフト モデレートの候補となる視覚的に誤解を招く画像を 0.99% の誤検出と 2.06% の偽陰性で識別できることがわかりました。
要約(オリジナル)
Images are a powerful and immediate vehicle to carry misleading or outright false messages, yet identifying image-based misinformation at scale poses unique challenges. In this paper, we present PIXELMOD, a system that leverages perceptual hashes, vector databases, and optical character recognition (OCR) to efficiently identify images that are candidates to receive soft moderation labels on Twitter. We show that PIXELMOD outperforms existing image similarity approaches when applied to soft moderation, with negligible performance overhead. We then test PIXELMOD on a dataset of tweets surrounding the 2020 US Presidential Election, and find that it is able to identify visually misleading images that are candidates for soft moderation with 0.99% false detection and 2.06% false negatives.
arxiv情報
| 著者 | Pujan Paudel,Chen Ling,Jeremy Blackburn,Gianluca Stringhini |
| 発行日 | 2024-07-30 17:21:32+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google