Detecting and Understanding Hateful Contents in Memes Through Captioning and Visual Question-Answering

要約

ミームはユーモアや文化的な解説に広く使用されていますが、憎悪なコンテンツを広めるためにますます悪用されています。
マルチモーダルの性質のため、憎悪なミームは、特に微妙またはコード化された参照を使用する場合、従来のテキストのみまたは画像のみの検出システムを回避することがよくあります。
これらの課題に対処するために、主要なコンポーネントを統合するための主要なコンポーネントを統合するマルチモーダル憎悪検出フレームワークを提案します。OCRは、埋め込みテキストを抽出し、視覚コンテンツを中立的に記述するためのキャプション、憎悪的なコンテンツの粒状分類のためのサブラベル分類、文脈的に依存性のある回復のためのrag、およびシンボリックおよびコンテキストキューの反復分析のためのVQAを提案します。
これにより、フレームワークは、より単純なパイプラインが検出されないという潜在的な信号を明らかにすることができます。
Facebookの憎しみのあるミームデータセットでの実験結果は、提案されたフレームワークが、精度とAUC-ROCの両方における単峰性および従来のマルチモーダルモデルのパフォーマンスを超えることを明らかにしています。

要約(オリジナル)

Memes are widely used for humor and cultural commentary, but they are increasingly exploited to spread hateful content. Due to their multimodal nature, hateful memes often evade traditional text-only or image-only detection systems, particularly when they employ subtle or coded references. To address these challenges, we propose a multimodal hate detection framework that integrates key components: OCR to extract embedded text, captioning to describe visual content neutrally, sub-label classification for granular categorization of hateful content, RAG for contextually relevant retrieval, and VQA for iterative analysis of symbolic and contextual cues. This enables the framework to uncover latent signals that simpler pipelines fail to detect. Experimental results on the Facebook Hateful Memes dataset reveal that the proposed framework exceeds the performance of unimodal and conventional multimodal models in both accuracy and AUC-ROC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google