NYCU-TWO at Memotion 3: Good Foundation, Good Teacher, then you have Good Meme Analysis

要約

このホワイト ペーパーでは、Memotion 3.0 共有タスクに対する堅牢なソリューションを紹介します。
このタスクの目標は、通常、ソーシャル メディアの短いキャプション付きの画像の形式である、ミームによって表現される感情とそれに対応する強さを分類することです。
特定のミームのマルチモーダル機能を理解することが、タスクを解決するための鍵となります。
この作業では、CLIP を使用して整列した画像とテキストの特徴を抽出し、タスク A の Cooperative Teaching Model (CTM) と Task B&C の Cascaded Emotion Classifier (CEC) で構成される新しいミーム感情分析フレームワークを提案します。
CTM は知識の蒸留の考え方に基づいており、タスク A で特定のミームの感情をより適切に予測できます。
CEC は、タスク C の予測からの感情の強さの提案を利用して、タスク B で感情をより正確に分類できます。実験では、タスク A とタスク B の両方で 2 位、タスク C で 4 位のランキングを達成したことが示されています。
それぞれ 0.342、0.784、および 0.535 の F1 スコア。
結果は、フレームワークの堅牢性と有効性を示しています。
私たちのコードは github で公開されています。

要約(オリジナル)

This paper presents a robust solution to the Memotion 3.0 Shared Task. The goal of this task is to classify the emotion and the corresponding intensity expressed by memes, which are usually in the form of images with short captions on social media. Understanding the multi-modal features of the given memes will be the key to solving the task. In this work, we use CLIP to extract aligned image-text features and propose a novel meme sentiment analysis framework, consisting of a Cooperative Teaching Model (CTM) for Task A and a Cascaded Emotion Classifier (CEC) for Tasks B&C. CTM is based on the idea of knowledge distillation, and can better predict the sentiment of a given meme in Task A; CEC can leverage the emotion intensity suggestion from the prediction of Task C to classify the emotion more precisely in Task B. Experiments show that we achieved the 2nd place ranking for both Task A and Task B and the 4th place ranking for Task C, with weighted F1-scores of 0.342, 0.784, and 0.535 respectively. The results show the robustness and effectiveness of our framework. Our code is released at github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google