Impact of Stickers on Multimodal Chat Sentiment Analysis and Intent Recognition: A New Task, Dataset and Baseline

要約

ソーシャルメディアでは、感情や意図を表現するためにステッカーがますます使用されています。
入力するのが面倒な場合は、ステッカーの代わりにステッカーを使用することがよくあります。
ステッカーは感情分析や意図認識に大きな影響を与えているにもかかわらず、研究はほとんど行われていません。
このギャップに対処するために、ステッカーを含むマルチモーダル チャット感情分析と意図認識 (MSAIRS) という新しいタスクを提案します。
さらに、いくつかの主流ソーシャル メディア プラットフォームから抜粋した中国語のチャット記録とステッカーを含む、新しいマルチモーダル データセットを紹介します。
私たちのデータセットには、テキストが同じでステッカーが異なるペアのデータと、テキストが異なる同じ画像で構成されるさまざまなステッカーが含まれており、チャットのセンチメントや意図に対するステッカーの影響をより深く理解できるようになります。
また、私たちのタスクに効果的なマルチモーダル ジョイント モデルである MMSAIR を提案します。これはデータセットで検証され、ステッカーの視覚情報が重要であることが示されています。
私たちのデータセットとコードは一般公開されます。

要約(オリジナル)

Stickers are increasingly used in social media to express sentiment and intent. When finding typing troublesome, people often use a sticker instead. Despite the significant impact of stickers on sentiment analysis and intent recognition, little research has been conducted. To address this gap, we propose a new task: Multimodal chat Sentiment Analysis and Intent Recognition involving Stickers (MSAIRS). Additionally, we introduce a novel multimodal dataset containing Chinese chat records and stickers excerpted from several mainstream social media platforms. Our dataset includes paired data with the same text but different stickers, and various stickers consisting of the same images with different texts, allowing us to better understand the impact of stickers on chat sentiment and intent. We also propose an effective multimodal joint model, MMSAIR, for our task, which is validated on our datasets and indicates that visual information of stickers counts. Our dataset and code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google