GraphCFC: A Directed Graph based Cross-modal Feature Complementation Approach for Multimodal Conversational Emotion Recognition

要約

会話における感情認識 (ERC) は、共感的なサービスを提供できるため、ヒューマン コンピュータ インタラクション (HCI) システムで重要な役割を果たします。
マルチモーダル ERC は、ユニモーダル アプローチの欠点を軽減できます。
近年、Graph Neural Networks (GNN) は、関係モデリングにおける優れたパフォーマンスにより、さまざまな分野で広く使用されています。
マルチモーダルERCでは、GNNは長距離のコンテキスト情報とインターモーダルインタラクティブ情報の両方を抽出できます。
残念ながら、MMGCN などの既存の方法では、複数のモダリティを直接融合するため、冗長な情報が生成され、多様な情報が失われる可能性があります。
この作業では、コンテキストおよびインタラクティブな情報を効率的にモデル化できる有向グラフ ベースのクロスモーダル機能補完 (GraphCFC) モジュールを紹介します。
GraphCFC は、複数の部分空間エクストラクタとペアワイズ クロスモーダル補完 (PairCC) 戦略を利用することで、マルチモーダル フュージョンにおける不均一性ギャップの問題を軽減します。
エンコーディングのために構築されたグラフからさまざまなタイプのエッジを抽出することで、GNN がメッセージ パッシングを実行する際に重要なコンテキストおよびインタラクティブな情報をより正確に抽出できるようにします。
さらに、マルチモーダル学習のための新しい統合ネットワーク フレームワークを提供できる GAT-MLP と呼ばれる GNN 構造を設計します。
2 つのベンチマーク データセットでの実験結果は、GraphCFC が最先端の (SOTA) アプローチよりも優れていることを示しています。

要約(オリジナル)

Emotion Recognition in Conversation (ERC) plays a significant part in Human-Computer Interaction (HCI) systems since it can provide empathetic services. Multimodal ERC can mitigate the drawbacks of uni-modal approaches. Recently, Graph Neural Networks (GNNs) have been widely used in a variety of fields due to their superior performance in relation modeling. In multimodal ERC, GNNs are capable of extracting both long-distance contextual information and inter-modal interactive information. Unfortunately, since existing methods such as MMGCN directly fuse multiple modalities, redundant information may be generated and diverse information may be lost. In this work, we present a directed Graph based Cross-modal Feature Complementation (GraphCFC) module that can efficiently model contextual and interactive information. GraphCFC alleviates the problem of heterogeneity gap in multimodal fusion by utilizing multiple subspace extractors and Pair-wise Cross-modal Complementary (PairCC) strategy. We extract various types of edges from the constructed graph for encoding, thus enabling GNNs to extract crucial contextual and interactive information more accurately when performing message passing. Furthermore, we design a GNN structure called GAT-MLP, which can provide a new unified network framework for multimodal learning. The experimental results on two benchmark datasets show that our GraphCFC outperforms the state-of-the-art (SOTA) approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google