MemeFier: Dual-stage Modality Fusion for Image Meme Classification

要約

タイトル：「MemeFier：画像ミーム分類のためのデュアルステージモダリティフュージョン」

要約：
– インターネットを介したヘイトスピーチは社会問題である。
– 画像ミームなどの新しいデジタルコンテンツは、複数のモダリティを使用してヘイトスピーチを拡散させるため、単一モダリティの場合より解析や検出が困難である。
– このようなコンテンツの正確な自動処理、分析、理解は、デジタル世界でのヘイトスピーチの拡大を防ぐ努力を助ける。
– そのために、私たちはMemeFierを提案し、デュアルステージモダリティフュージョンモジュールを使用したインターネット画像ミームの細分化分類に基づく深層学習ベースのアーキテクチャを開発した。
– 最初のフュージョンステージは、ミームのテキストと画像の間の重要な関係を捕捉するモダリティアライメント情報を含む特徴ベクトルを生成する。
– 2番目のフュージョンステージは、Transformerエンコーダの能力を利用して、トークンレベルでの異なるモダリティ間の相関を学習し、情報を提供する。
– 外部知識を追加の入力として考慮し、バックグラウンド画像キャプション管理も正則化コンポーネントとして考慮した。
– Facebook Hateful Memes、Memotion7k、MultiOFFの3つの広く採用されたベンチマークでの広範な実験は、私たちの方法が最先端を超える場合があり、競争力があることを示している。
– コードはhttps://github.com/ckoutlis/memefierで入手可能。

要約(オリジナル)

Hate speech is a societal problem that has significantly grown through the Internet. New forms of digital content such as image memes have given rise to spread of hate using multimodal means, being far more difficult to analyse and detect compared to the unimodal case. Accurate automatic processing, analysis and understanding of this kind of content will facilitate the endeavor of hindering hate speech proliferation through the digital world. To this end, we propose MemeFier, a deep learning-based architecture for fine-grained classification of Internet image memes, utilizing a dual-stage modality fusion module. The first fusion stage produces feature vectors containing modality alignment information that captures non-trivial connections between the text and image of a meme. The second fusion stage leverages the power of a Transformer encoder to learn inter-modality correlations at the token level and yield an informative representation. Additionally, we consider external knowledge as an additional input, and background image caption supervision as a regularizing component. Extensive experiments on three widely adopted benchmarks, i.e., Facebook Hateful Memes, Memotion7k and MultiOFF, indicate that our approach competes and in some cases surpasses state-of-the-art. Our code is available on https://github.com/ckoutlis/memefier.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI