Meme Sentiment Analysis Enhanced with Multimodal Spatial Encoding and Facial Embedding

要約

インターネットミームは、視覚的要素の中にテキストが散在していることが特徴である。最新のマルチモーダルミーム分類器では、テキストと視覚要素の配置に潜在的な意味があるにもかかわらず、2つのモダリティにおけるこれらの要素の相対的な位置は考慮されていない。本研究では、2つのミーム感情分類データセットを用いて、ミームから抽出された視覚的オブジェクト、顔、テキストクラスターの空間位置を組み込むことによる性能向上を系統的に示す。さらに、マルチモーダルミーム分類器における画像表現へのインパクトのある強化として、顔の埋め込みを紹介する。最後に、この空間情報を組み込むことで、OCRで抽出されたテキストを人間が追加で検証することに依存するベースラインよりも、完全自動化アプローチの方が優れていることを示す。

要約(オリジナル)

Internet memes are characterised by the interspersing of text amongst visual elements. State-of-the-art multimodal meme classifiers do not account for the relative positions of these elements across the two modalities, despite the latent meaning associated with where text and visual elements are placed. Against two meme sentiment classification datasets, we systematically show performance gains from incorporating the spatial position of visual objects, faces, and text clusters extracted from memes. In addition, we also present facial embedding as an impactful enhancement to image representation in a multimodal meme classifier. Finally, we show that incorporating this spatial information allows our fully automated approaches to outperform their corresponding baselines that rely on additional human validation of OCR-extracted text.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL