TelME: Teacher-leading Multimodal Fusion Network for Emotion Recognition in Conversation

要約

会話中の感情認識 (ERC) は、対話システムがユーザーの要求に効果的に応答できるようにする上で重要な役割を果たします。
会話中の感情は、オーディオ、ビジュアル、テキストなどのさまざまなモダリティからの表現によって識別できます。
しかし、感情を認識するための非言語モダリティの寄与が弱いため、マルチモーダル ERC は常に困難な課題であると考えられてきました。
本稿では、ERC (TelME) のための教師主導型マルチモーダル融合ネットワークを提案します。
TelME には、教師として機能する言語モデルから非言語的な生徒に情報を伝達するクロスモーダル知識蒸留が組み込まれており、それによって弱いモダリティの有効性が最適化されます。
次に、生徒のネットワークが教師をサポートするシフティング フュージョン アプローチを使用して、マルチモーダルな機能を組み合わせます。
TelME は、ERC 用のマルチ話者会話データセットである MELD で最先端のパフォーマンスを実現します。
最後に、追加の実験を通じてコン​​ポーネントの有効性を実証します。

要約(オリジナル)

Emotion Recognition in Conversation (ERC) plays a crucial role in enabling dialogue systems to effectively respond to user requests. The emotions in a conversation can be identified by the representations from various modalities, such as audio, visual, and text. However, due to the weak contribution of non-verbal modalities to recognize emotions, multimodal ERC has always been considered a challenging task. In this paper, we propose Teacher-leading Multimodal fusion network for ERC (TelME). TelME incorporates cross-modal knowledge distillation to transfer information from a language model acting as the teacher to the non-verbal students, thereby optimizing the efficacy of the weak modalities. We then combine multimodal features using a shifting fusion approach in which student networks support the teacher. TelME achieves state-of-the-art performance in MELD, a multi-speaker conversation dataset for ERC. Finally, we demonstrate the effectiveness of our components through additional experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google