MemeGraphs: Linking Memes to Knowledge Graphs

要約

ミームは、画像とテキストの様式を組み合わせて、ソーシャル メディアやインターネット全般でトレンドやアイデアを伝える一般的な形式です。
ユーモアや皮肉を表現することもできますが、攻撃的な内容を含むこともあります。
ミームの解釈は視覚的要素、言語、背景知識の理解に依存しているため、ミームを自動的に分析して分類することは困難です。
したがって、ミームを全体として分類するには、これらのソースとそれらの間の相互作用を意味のある形で表現することが重要です。
この研究では、オブジェクトとその視覚的関係に関して画像を表現するシーン グラフと、Transformer ベースのアーキテクチャによるミーム分類の構造化表現としてのナレッジ グラフの使用を提案します。
私たちは、ミームの（構造化された）表現のみを使用するマルチモーダル モデルである ImgBERT と私たちのアプローチを比較し、一貫した改善を観察しました。
さらに、ヒューマン グラフ アノテーションを備えたデータセットを提供し、自動生成されたグラフやエンティティ リンクと比較します。
分析の結果、自動手法は人間によるアノテーターよりも多くのエンティティをリンクしており、自動生成されたグラフはミームのヘイトネス分類に適していることが示されています。

要約(オリジナル)

Memes are a popular form of communicating trends and ideas in social media and on the internet in general, combining the modalities of images and text. They can express humor and sarcasm but can also have offensive content. Analyzing and classifying memes automatically is challenging since their interpretation relies on the understanding of visual elements, language, and background knowledge. Thus, it is important to meaningfully represent these sources and the interaction between them in order to classify a meme as a whole. In this work, we propose to use scene graphs, that express images in terms of objects and their visual relations, and knowledge graphs as structured representations for meme classification with a Transformer-based architecture. We compare our approach with ImgBERT, a multimodal model that uses only learned (instead of structured) representations of the meme, and observe consistent improvements. We further provide a dataset with human graph annotations that we compare to automatically generated graphs and entity linking. Analysis shows that automatic methods link more entities than human annotators and that automatically generated graphs are better suited for hatefulness classification in memes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google