CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation

要約

会話中のマルチモーダル感情認識 (MER) は、マルチモーダル情報を統合することで、会話中の発話内の感情を正確に識別することを目的としています。
従来の方法は通常、マルチモーダル情報を同等の品質として扱い、対称アーキテクチャを採用してマルチモーダル融合を実行します。
しかし、実際には、異なるモダリティの品質は通常大きく異なり、対称アーキテクチャを利用しても、不均一なモダリティ情報を扱う場合に会話の感情を正確に認識することは困難です。
さらに、単一の粒度でマルチモダリティ情報を融合すると、モーダル情報を適切に統合できず、感情認識の不正確さが悪化する可能性があります。
この論文では、CMATH と呼ばれる階層変分蒸留を備えた新しいクロスモダリティ拡張トランスフォーマーを提案します。これは、マルチモーダル相互作用融合と階層変分蒸留の 2 つの主要コンポーネントで構成されます。
前者は、モダリティ再構築とクロスモダリティ拡張トランスフォーマー (CMA-Transformer) を含む 2 つのサブモジュールで構成されます。モダリティ再構築は、各モダリティの高品質の圧縮表現を取得することに重点を置き、CMA-Transformer は 1 つのモダリティを処理する非対称融合戦略を採用します。
モダリティを中心モダリティとし、他のモダリティを補助モダリティとして扱います。
後者はまず、CMA-Transformer によって学習された細粒表現を粗粒表現に融合する変分融合ネットワークを設計します。
次に、階層的な蒸留フレームワークを導入して、異なる粒度のモダリティ表現間の一貫性を維持します。
IEMOCAP および MELD データセットの実験では、私たちが提案したモデルが以前の最先端のベースラインを上回るパフォーマンスを示しています。
実装コードは https://github.com/cjw-MER/CMATH で入手できます。

要約(オリジナル)

Multimodal emotion recognition in conversation (MER) aims to accurately identify emotions in conversational utterances by integrating multimodal information. Previous methods usually treat multimodal information as equal quality and employ symmetric architectures to conduct multimodal fusion. However, in reality, the quality of different modalities usually varies considerably, and utilizing a symmetric architecture is difficult to accurately recognize conversational emotions when dealing with uneven modal information. Furthermore, fusing multi-modality information in a single granularity may fail to adequately integrate modal information, exacerbating the inaccuracy in emotion recognition. In this paper, we propose a novel Cross-Modality Augmented Transformer with Hierarchical Variational Distillation, called CMATH, which consists of two major components, i.e., Multimodal Interaction Fusion and Hierarchical Variational Distillation. The former is comprised of two submodules, including Modality Reconstruction and Cross-Modality Augmented Transformer (CMA-Transformer), where Modality Reconstruction focuses on obtaining high-quality compressed representation of each modality, and CMA-Transformer adopts an asymmetric fusion strategy which treats one modality as the central modality and takes others as auxiliary modalities. The latter first designs a variational fusion network to fuse the fine-grained representations learned by CMA- Transformer into a coarse-grained representations. Then, it introduces a hierarchical distillation framework to maintain the consistency between modality representations with different granularities. Experiments on the IEMOCAP and MELD datasets demonstrate that our proposed model outperforms previous state-of-the-art baselines. Implementation codes can be available at https://github.com/ cjw-MER/CMATH.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google