DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition

要約

ディープラーニング (DL) の継続的な発展に伴い、マルチモーダル対話感情認識 (MDER) のタスクは最近広範囲の研究の注目を集めており、これも DL の重要な分野です。
MDER は、さまざまな対話シーンのさまざまなモダリティ (テキスト、ビデオ、オーディオなど) に含まれる感情情報を識別することを目的としています。
しかし、既存の研究は、文脈上の意味情報と話者間の対話関係のモデル化に焦点を当てており、感情に対するイベント関係の影響は無視されています。
上記の問題に取り組むために、我々は、新しい対話およびイベント関係認識グラフ畳み込みニューラル ネットワークによるマルチモーダル感情認識 (DER-GCN) 手法を提案します。
話者間の対話関係をモデル化し、潜在的なイベント関係情報を取得します。
具体的には、対話における話者間の依存関係とイベント関係を同時に捕捉するために、重み付けされた多重関係グラフを構築します。
さらに、特徴と構造の融合表現能力を向上させるために、自己教師ありマスク グラフ オートエンコーダー (SMGAE) も導入します。
次に、異なる関係間の相関を捕捉するための新しい多重情報変換器 (MIT) を設計します。これにより、関係間の多変量情報をより適切に融合できます。
最後に、少数クラス特徴の表現学習能力を強化するために、対照学習に基づく損失最適化戦略を提案します。
私たちは、IEMOCAP および MELD ベンチマーク データセットに対して広範な実験を実施し、DER-GCN モデルの有効性を検証します。
結果は、私たちのモデルが感情認識の平均精度と f1 値の両方を大幅に向上させることを示しています。

要約(オリジナル)

With the continuous development of deep learning (DL), the task of multimodal dialogue emotion recognition (MDER) has recently received extensive research attention, which is also an essential branch of DL. The MDER aims to identify the emotional information contained in different modalities, e.g., text, video, and audio, in different dialogue scenes. However, existing research has focused on modeling contextual semantic information and dialogue relations between speakers while ignoring the impact of event relations on emotion. To tackle the above issues, we propose a novel Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Emotion Recognition (DER-GCN) method. It models dialogue relations between speakers and captures latent event relations information. Specifically, we construct a weighted multi-relationship graph to simultaneously capture the dependencies between speakers and event relations in a dialogue. Moreover, we also introduce a Self-Supervised Masked Graph Autoencoder (SMGAE) to improve the fusion representation ability of features and structures. Next, we design a new Multiple Information Transformer (MIT) to capture the correlation between different relations, which can provide a better fuse of the multivariate information between relations. Finally, we propose a loss optimization strategy based on contrastive learning to enhance the representation learning ability of minority class features. We conduct extensive experiments on the IEMOCAP and MELD benchmark datasets, which verify the effectiveness of the DER-GCN model. The results demonstrate that our model significantly improves both the average accuracy and the f1 value of emotion recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google