GraphCFC: A Directed Graph Based Cross-Modal Feature Complementation Approach for Multimodal Conversational Emotion Recognition

要約

会話中の感情認識 (ERC) は、共感的なサービスを提供できるため、ヒューマン コンピューター インタラクション (HCI) システムで重要な役割を果たします。
マルチモーダル ERC は、ユニモーダル アプローチの欠点を軽減できます。
最近、グラフ ニューラル ネットワーク (GNN) は、リレーション モデリングにおける優れたパフォーマンスにより、さまざまな分野で広く使用されています。
マルチモーダル ERC では、GNN は長距離のコンテキスト情報とモーダル間のインタラクティブ情報の両方を抽出できます。
残念ながら、MMGCNなどの既存の手法は複数のモダリティを直接融合するため、冗長な情報が生成され、多様な情報が失われる可能性があります。
この研究では、コンテキスト情報とインタラクティブ情報を効率的にモデル化できる、有向グラフベースのクロスモーダル機能補完 (GraphCFC) モジュールを紹介します。
GraphCFC は、複数の部分空間エクストラクターとペアワイズ クロスモーダル補完 (PairCC) 戦略を利用することにより、マルチモーダル融合における異質性ギャップの問題を軽減します。
構築されたグラフからさまざまなタイプのエッジを抽出してエンコードすることで、GNN がメッセージ パッシングを実行するときに重要なコンテキスト情報やインタラクティブ情報をより正確に抽出できるようになります。
さらに、マルチモーダル学習のための新しい統合ネットワーク フレームワークを提供できる GAT-MLP と呼ばれる GNN 構造を設計します。
2 つのベンチマーク データセットの実験結果は、GraphCFC が最先端 (SOTA) アプローチよりも優れていることを示しています。

要約(オリジナル)

Emotion Recognition in Conversation (ERC) plays a significant part in Human-Computer Interaction (HCI) systems since it can provide empathetic services. Multimodal ERC can mitigate the drawbacks of uni-modal approaches. Recently, Graph Neural Networks (GNNs) have been widely used in a variety of fields due to their superior performance in relation modeling. In multimodal ERC, GNNs are capable of extracting both long-distance contextual information and inter-modal interactive information. Unfortunately, since existing methods such as MMGCN directly fuse multiple modalities, redundant information may be generated and diverse information may be lost. In this work, we present a directed Graph based Cross-modal Feature Complementation (GraphCFC) module that can efficiently model contextual and interactive information. GraphCFC alleviates the problem of heterogeneity gap in multimodal fusion by utilizing multiple subspace extractors and Pair-wise Cross-modal Complementary (PairCC) strategy. We extract various types of edges from the constructed graph for encoding, thus enabling GNNs to extract crucial contextual and interactive information more accurately when performing message passing. Furthermore, we design a GNN structure called GAT-MLP, which can provide a new unified network framework for multimodal learning. The experimental results on two benchmark datasets show that our GraphCFC outperforms the state-of-the-art (SOTA) approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google