Multi-modal Stance Detection: New Datasets and Model

要約

スタンス検出は、特定のターゲットに関するソーシャル メディア プラットフォームからの世論を特定することを目的とした難しいタスクです。
スタンス検出に関するこれまでの研究は主に純粋なテキストに焦点を当てていました。
この論文では、テキストと画像で構成されるツイートのマルチモーダル スタンス検出について研究します。これは、人々がマルチモーダル メッセージを投稿することが多い今日の急速に成長しているソーシャル メディア プラットフォームで普及しています。
この目的を達成するために、Twitter に基づいてさまざまなドメインの 5 つの新しいマルチモーダルスタンス検出データセットを作成しました。各サンプルはテキストと画像で構成されています。
さらに、我々は、ターゲット情報を活用してテキストおよび視覚モダリティからマルチモーダルスタンスの特徴を学習する、シンプルで効果的なターゲットマルチモーダルプロンプトチューニングフレームワーク（TMPT）を提案します。
5 つのベンチマーク データセットの実験結果は、提案された TMPT がマルチモーダル姿勢検出において最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Stance detection is a challenging task that aims to identify public opinion from social media platforms with respect to specific targets. Previous work on stance detection largely focused on pure texts. In this paper, we study multi-modal stance detection for tweets consisting of texts and images, which are prevalent in today’s fast-growing social media platforms where people often post multi-modal messages. To this end, we create five new multi-modal stance detection datasets of different domains based on Twitter, in which each example consists of a text and an image. In addition, we propose a simple yet effective Targeted Multi-modal Prompt Tuning framework (TMPT), where target information is leveraged to learn multi-modal stance features from textual and visual modalities. Experimental results on our five benchmark datasets show that the proposed TMPT achieves state-of-the-art performance in multi-modal stance detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google