SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis

要約

タイトル：SemiMemes：多様なミーム分析のための半教師付き学習アプローチ

要約：
– ソーシャルメディア上のミームの普及により、有害なコンテンツを検閲するために彼らの根底にある意味を感情分析する必要が生じています。
– 機械学習によるミーム検閲システムは、多数のラベルのないミームを利用し、注釈付けのプロセスを簡素化するために半教師付き学習の解決策が必要です。さらに、ミームの意味は通常、画像とテキストの両方から来るため、マルチモーダルデータを利用する必要があります。
– この研究は、効果的なマルチモーダル学習技術であるContrastive Language-Image Pre-trainingから得られた知見に基づき、オートエンコーダーと分類タスクを組み合わせた新しいトレーニング方法であるSemiMemesを紹介します。
– このマルチモーダル半教師付き学習アプローチは、2つのデータセットで他のマルチモーダル半教師付き学習および教師付き学習の最新のモデルよりも優れた結果を示しました。それらのデータセットは、Multimedia Automatic Misogyny IdentificationおよびHateful Memesデータセットです。

要約(オリジナル)

The prevalence of memes on social media has created the need to sentiment analyze their underlying meanings for censoring harmful content. Meme censoring systems by machine learning raise the need for a semi-supervised learning solution to take advantage of the large number of unlabeled memes available on the internet and make the annotation process less challenging. Moreover, the approach needs to utilize multimodal data as memes’ meanings usually come from both images and texts. This research proposes a multimodal semi-supervised learning approach that outperforms other multimodal semi-supervised learning and supervised learning state-of-the-art models on two datasets, the Multimedia Automatic Misogyny Identification and Hateful Memes dataset. Building on the insights gained from Contrastive Language-Image Pre-training, which is an effective multimodal learning technique, this research introduces SemiMemes, a novel training method that combines auto-encoder and classification task to make use of the resourceful unlabeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI