Unimodal Intermediate Training for Multimodal Meme Sentiment Classification

要約

インターネット ミームは、自動感情分類にとってユーザー生成コンテンツの形式としては依然として課題が残っています。
ラベル付きミームの利用可能性は、マルチモーダル ミームのセンチメント分類子を開発する上での障壁となっています。
ラベル付きミームの不足に対処するために、マルチモーダル ミーム分類器のトレーニングをユニモーダル (画像のみおよびテキストのみ) データで補うことを提案します。
この研究では、比較的豊富な感情ラベル付き単峰性データを使用する、教師あり中間トレーニングの新しいバリエーションを紹介します。
私たちの結果は、ユニモーダル テキスト データの組み込みにより統計的に有意なパフォーマンスの向上を示しています。
さらに、下流モデルのパフォーマンスを低下させることなく、ラベル付きミームのトレーニング セットを 40% 削減できることを示します。

要約(オリジナル)

Internet Memes remain a challenging form of user-generated content for automated sentiment classification. The availability of labelled memes is a barrier to developing sentiment classifiers of multimodal memes. To address the shortage of labelled memes, we propose to supplement the training of a multimodal meme classifier with unimodal (image-only and text-only) data. In this work, we present a novel variant of supervised intermediate training that uses relatively abundant sentiment-labelled unimodal data. Our results show a statistically significant performance improvement from the incorporation of unimodal text data. Furthermore, we show that the training set of labelled memes can be reduced by 40% without reducing the performance of the downstream model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google