Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning

要約

憎しみに満ちたミームがインターネット上で重大な懸念事項として浮上しています。
憎しみに満ちたミームを検出するには、システムが視覚的モダリティとテキストモダリティを共同で理解する必要があります。
私たちの調査により、既存の CLIP ベースのシステムの埋め込み空間には、ヘイトネスを正しく分類するために不可欠なミームの微妙な違いに対する感度が欠けていることが明らかになりました。
我々は、検索に基づく対比トレーニングを通じて憎しみを意識した埋め込み空間を構築することを提案します。
私たちのアプローチは、HatefulMemes データセット上で AUROC 87.0 の最先端のパフォーマンスを達成し、より大規模で微調整された大規模なマルチモーダル モデルを上回ります。
私たちは、トレーニングでは見られなかったデータに基づいてヘイトを識別できる、検索ベースのヘイトミーム検出システムを実証します。
これにより、開発者は再トレーニングせずに新しい例を追加するだけでヘイト ミーム検出システムを更新できます。これは、インターネット上のヘイト ミームの絶え間なく進化する環境における実際のサービスにとって望ましい機能です。

要約(オリジナル)

Hateful memes have emerged as a significant concern on the Internet. Detecting hateful memes requires the system to jointly understand the visual and textual modalities. Our investigation reveals that the embedding space of existing CLIP-based systems lacks sensitivity to subtle differences in memes that are vital for correct hatefulness classification. We propose constructing a hatefulness-aware embedding space through retrieval-guided contrastive training. Our approach achieves state-of-the-art performance on the HatefulMemes dataset with an AUROC of 87.0, outperforming much larger fine-tuned large multimodal models. We demonstrate a retrieval-based hateful memes detection system, which is capable of identifying hatefulness based on data unseen in training. This allows developers to update the hateful memes detection system by simply adding new examples without retraining, a desirable feature for real services in the constantly evolving landscape of hateful memes on the Internet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google