SDR-GNN: Spectral Domain Reconstruction Graph Neural Network for Incomplete Multimodal Learning in Conversational Emotion Recognition

要約

Multimodal Emotion Recognition in Conversations (MERC) は、テキスト、聴覚、視覚のモーダル特徴を使用して発話の感情を分類することを目的としています。
既存の MERC 手法のほとんどは、各発話が完全なモダリティを持っていると想定しており、現実世界のシナリオにおける不完全なモダリティという一般的な問題を見落としています。
最近、グラフ ニューラル ネットワーク (GNN) は、会話における不完全なマルチモーダル感情認識 (IMERC) において注目すべき成果を達成しました。
ただし、従来の GNN はノード間のバイナリ関係に焦点を当てているため、より複雑で高次の情報を取得する能力が制限されています。
さらに、メッセージの受け渡しが繰り返されると過剰な平滑化が発生し、重要な高周波の詳細を保持する能力が低下する可能性があります。
これらの問題に対処するために、会話感情認識における不完全なマルチモーダル学習のためのスペクトル ドメイン再構成グラフ ニューラル ネットワーク (SDR-GNN) を提案します。
SDR-GNN は、話者とコンテキストの両方の関係に基づいてスライディング ウィンドウを使用して発話意味相互作用グラフを構築し、感情的な依存関係をモデル化します。
高次かつ高頻度の情報を取得するために、SDR-GNN は重み付けされた関係集約を利用し、発話全体で一貫した意味論的特徴抽出を保証します。
さらに、スペクトル領域で多周波数集約を実行し、高周波情報と低周波情報の両方を抽出することで不完全なモダリティの効率的な回復を可能にします。
最後に、マルチヘッド アテンションを適用して、感情認識の機能を融合および最適化します。
現実世界のさまざまなデータセットに対する広範な実験により、私たちのアプローチが不完全なマルチモーダル学習に効果的であり、現在の最先端の方法を上回るパフォーマンスを発揮することが実証されています。

要約(オリジナル)

Multimodal Emotion Recognition in Conversations (MERC) aims to classify utterance emotions using textual, auditory, and visual modal features. Most existing MERC methods assume each utterance has complete modalities, overlooking the common issue of incomplete modalities in real-world scenarios. Recently, graph neural networks (GNNs) have achieved notable results in Incomplete Multimodal Emotion Recognition in Conversations (IMERC). However, traditional GNNs focus on binary relationships between nodes, limiting their ability to capture more complex, higher-order information. Moreover, repeated message passing can cause over-smoothing, reducing their capacity to preserve essential high-frequency details. To address these issues, we propose a Spectral Domain Reconstruction Graph Neural Network (SDR-GNN) for incomplete multimodal learning in conversational emotion recognition. SDR-GNN constructs an utterance semantic interaction graph using a sliding window based on both speaker and context relationships to model emotional dependencies. To capture higher-order and high-frequency information, SDR-GNN utilizes weighted relationship aggregation, ensuring consistent semantic feature extraction across utterances. Additionally, it performs multi-frequency aggregation in the spectral domain, enabling efficient recovery of incomplete modalities by extracting both high- and low-frequency information. Finally, multi-head attention is applied to fuse and optimize features for emotion recognition. Extensive experiments on various real-world datasets demonstrate that our approach is effective in incomplete multimodal learning and outperforms current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google