Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations

要約

インターネット ミームは、政治的、心理的、社会文化的な考えを伝える上で大きな影響力を獲得しています。
ミームはユーモラスなものが多いですが、荒らしやネットいじめにミームが使用されるケースも増えています。
攻撃的なマルチモーダルミームを検出するために、さまざまな効果的な深層学習ベースのモデルが開発されてきましたが、説明可能性の側面に関してはほんのわずかな研究しか行われていません。
一般データ保護規則の「説明に対する権利」などの最近の法律により、パフォーマンスだけに焦点を当てるのではなく、解釈可能なモデルを開発する研究が促進されています。
これを動機として、コードが混在したネットいじめミームからマルチモーダルに説明するための最初のベンチマーク データセットである {\em MultiBully-Ex} を紹介します。
ここでは、特定のミームがネットいじめである理由を説明するために、視覚的モダリティとテキストモダリティの両方が強調表示されています。
Contrastive Language-Image Pretraining (CLIP) 投影ベースのマルチモーダル共有プライベート マルチタスク アプローチが、ミームの視覚的およびテキストによる説明のために提案されています。
実験結果は、マルチモーダルな説明を使用したトレーニングにより、テキストによる正当化の生成と、信頼性の高いパフォーマンスの向上により意思決定を裏付ける視覚的証拠をより正確に識別する際のパフォーマンスが向上することを示しています。

要約(オリジナル)

Internet memes have gained significant influence in communicating political, psychological, and sociocultural ideas. While memes are often humorous, there has been a rise in the use of memes for trolling and cyberbullying. Although a wide variety of effective deep learning-based models have been developed for detecting offensive multimodal memes, only a few works have been done on explainability aspect. Recent laws like ‘right to explanations’ of General Data Protection Regulation, have spurred research in developing interpretable models rather than only focusing on performance. Motivated by this, we introduce {\em MultiBully-Ex}, the first benchmark dataset for multimodal explanation from code-mixed cyberbullying memes. Here, both visual and textual modalities are highlighted to explain why a given meme is cyberbullying. A Contrastive Language-Image Pretraining (CLIP) projection-based multimodal shared-private multitask approach has been proposed for visual and textual explanation of a meme. Experimental results demonstrate that training with multimodal explanations improves performance in generating textual justifications and more accurately identifying the visual evidence supporting a decision with reliable performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google