A Two-Stage Multimodal Emotion Recognition Model Based on Graph Contrastive Learning

要約

ヒューマンコンピュータインタラクションの観点から、会話中のユーザーの感情状態を正しく理解することがますます重要になってきており、マルチモーダル感情認識（MER）のタスクが注目され始めた。しかし、既存の感情分類手法は、通常、1回しか分類を行わない。1回の分類では、文が誤って分類される可能性が高い。これまでの研究では、融合処理において、異なる形態特徴間の類似性と相違性を無視するのが普通である。上記の問題に対処するために、我々はグラフ対照学習（TS-GCL）に基づく2段階の感情認識モデルを提案する。まず、元のデータセットを異なる前処理モダリティで符号化する。次に、これらの3つのモーダルデータに対して、他の構造を持つグラフ対照学習（GCL）戦略を導入し、モーダル内とモーダル間の類似性と相違性を学習する。最後に、MLPを2回用いて最終的な感情分類を行う。この段階的な分類方法は、モデルが異なるレベルの感情情報にうまく焦点を当てるのに役立ち、それによってモデルの性能を向上させることができる。広範な実験により、TS-GCLはIEMOCAPおよびMELDデータセットにおいて、以前の手法と比較して優れた性能を持つことが示された。

要約(オリジナル)

In terms of human-computer interaction, it is becoming more and more important to correctly understand the user’s emotional state in a conversation, so the task of multimodal emotion recognition (MER) started to receive more attention. However, existing emotion classification methods usually perform classification only once. Sentences are likely to be misclassified in a single round of classification. Previous work usually ignores the similarities and differences between different morphological features in the fusion process. To address the above issues, we propose a two-stage emotion recognition model based on graph contrastive learning (TS-GCL). First, we encode the original dataset with different preprocessing modalities. Second, a graph contrastive learning (GCL) strategy is introduced for these three modal data with other structures to learn similarities and differences within and between modalities. Finally, we use MLP twice to achieve the final emotion classification. This staged classification method can help the model to better focus on different levels of emotional information, thereby improving the performance of the model. Extensive experiments show that TS-GCL has superior performance on IEMOCAP and MELD datasets compared with previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL