NUAA-QMUL-AIIT at Memotion 3: Multi-modal Fusion with Squeeze-and-Excitation for Internet Meme Emotion Analysis

要約

この論文では、ミーム感情分析に関する Memotion 3 共有タスクへの NUAA-QMUL-AIIT チームの参加について説明します。
新しいマルチモーダル融合法である Squeeze-and-Excitation Fusion (SEFusion) を提案し、ミームの感情分類のためにシステムに組み込みます。
SEFusion は、全結合層、再形成、および行列乗算を使用する単純な融合方法です。
SEFusion は各モダリティの重みを学習し、それを独自のモダリティ機能に適用します。
3 つの Memotion 3 サブタスクでシステムのパフォーマンスを評価します。
この Memotion 3 共有タスクに参加しているすべてのシステムの中で、私たちのシステムはタスク A で 1 位、タスク B で 5 位、タスク C で 2 位にランクされました。
メソッドのソース コードは、https://github.com/xxxxxxxxy/memotion3-SEFusion で公開されています。

要約(オリジナル)

This paper describes the participation of our NUAA-QMUL-AIIT team in the Memotion 3 shared task on meme emotion analysis. We propose a novel multi-modal fusion method, Squeeze-and-Excitation Fusion (SEFusion), and embed it into our system for emotion classification in memes. SEFusion is a simple fusion method that employs fully connected layers, reshaping, and matrix multiplication. SEFusion learns a weight for each modality and then applies it to its own modality feature. We evaluate the performance of our system on the three Memotion 3 sub-tasks. Among all participating systems in this Memotion 3 shared task, our system ranked first on task A, fifth on task B, and second on task C. Our proposed SEFusion provides the flexibility to fuse any features from different modalities. The source code for our method is published on https://github.com/xxxxxxxxy/memotion3-SEFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google