Text or Image? What is More Important in Cross-Domain Generalization Capabilities of Hate Meme Detection Models?

要約

この論文は、マルチモーダルなヘイトミーム検出におけるクロスドメイン一般化という恐るべき課題を掘り下げ、説得力のある発見を示しています。
我々は、憎しみに満ちたミームのテキスト要素のみが既存のマルチモーダル分類器をさまざまなドメインにわたって一般化できるのに対し、画像要素は特定のトレーニング データセットに対して非常に敏感であることが証明されているという仮説を裏付ける十分な証拠を提供します。
この証拠には、ヘイトテキスト分類子がゼロショット設定でヘイトミーム分類子と同様に機能することを示すデモンストレーションが含まれます。
同時に、ミームの画像から生成されたキャプションをヘイトミーム分類器に導入すると、パフォーマンスが平均 F1 0.02 悪化します。
ブラックボックスの説明を通じて、テキストモダリティのかなりの寄与（平均83％）が特定されますが、ミームの画像キャプション（52％）の導入により減少します。
さらに、新しく作成された交絡因子データセットに対する評価では、平均 $\Delta$F1 が 0.18 で、画像交絡因子と比較してテキスト交絡因子のパフォーマンスが高いことが明らかになりました。

要約(オリジナル)

This paper delves into the formidable challenge of cross-domain generalization in multimodal hate meme detection, presenting compelling findings. We provide enough pieces of evidence supporting the hypothesis that only the textual component of hateful memes enables the existing multimodal classifier to generalize across different domains, while the image component proves highly sensitive to a specific training dataset. The evidence includes demonstrations showing that hate-text classifiers perform similarly to hate-meme classifiers in a zero-shot setting. Simultaneously, the introduction of captions generated from images of memes to the hate-meme classifier worsens performance by an average F1 of 0.02. Through blackbox explanations, we identify a substantial contribution of the text modality (average of 83%), which diminishes with the introduction of meme’s image captions (52%). Additionally, our evaluation on a newly created confounder dataset reveals higher performance on text confounders as compared to image confounders with an average $\Delta$F1 of 0.18.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google