On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning

要約

憎しみに満ちたミームがオンラインで拡散すると、ソーシャル メディア プラットフォームや現実世界に悪影響が生じます。
憎しみに満ちたミームの検出は困難ですが、その理由の 1 つはミームの進化的な性質です。
憎しみに満ちた意味合いを他の文化的概念やシンボルと融合させることで、新しい憎しみに満ちたミームが生まれることがあります。
この論文では、マルチモーダル対比学習モデル、特に OpenAI の CLIP を活用して、憎しみに満ちたコンテンツのターゲットを特定し、憎しみに満ちたミームの進化を体系的に調査するフレームワークを提案します。
同じモダリティ (画像) 内またはモダリティ (画像とテキスト) 間での意味関係を記述する CLIP で生成された埋め込みには、意味論的な規則性が存在することがわかりました。
この特性を利用して、私たちは、複数の画像の視覚要素を組み合わせたり、テキスト情報と憎悪の画像を融合したりすることによって、憎悪のミームがどのように作成されるかを研究します。
私たちは、反ユダヤ主義的なミーム、特にハッピー・マーチャント・ミームに焦点を当てることによって、憎しみに満ちたミームの進化を分析するためのフレームワークの機能を実証します。
4chan から抽出したデータセットのフレームワークを使用して、Happy Merchant ミームの 3.3K の亜種を発見しました。その中には特定の国、人物、組織に関連したものもあります。
私たちは、私たちのフレームワークを使用して、憎悪に満ちたミームの新しい亜種にフラグを付けることで人間のモデレーターを支援し、モデレータが手動でそれらを検証し、オンラインでの憎しみに満ちたコンテンツの問題を軽減できるようにしたいと考えています。

要約(オリジナル)

The dissemination of hateful memes online has adverse effects on social media platforms and the real world. Detecting hateful memes is challenging, one of the reasons being the evolutionary nature of memes; new hateful memes can emerge by fusing hateful connotations with other cultural ideas or symbols. In this paper, we propose a framework that leverages multimodal contrastive learning models, in particular OpenAI’s CLIP, to identify targets of hateful content and systematically investigate the evolution of hateful memes. We find that semantic regularities exist in CLIP-generated embeddings that describe semantic relationships within the same modality (images) or across modalities (images and text). Leveraging this property, we study how hateful memes are created by combining visual elements from multiple images or fusing textual information with a hateful image. We demonstrate the capabilities of our framework for analyzing the evolution of hateful memes by focusing on antisemitic memes, particularly the Happy Merchant meme. Using our framework on a dataset extracted from 4chan, we find 3.3K variants of the Happy Merchant meme, with some linked to specific countries, persons, or organizations. We envision that our framework can be used to aid human moderators by flagging new variants of hateful memes so that moderators can manually verify them and mitigate the problem of hateful content online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google