MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models

要約

この論文は、会話におけるマルチモーダル感情原因分析に関する SemEval 2024 タスク 3 のサブタスク 2 への受賞作品を紹介します。
我々は、特殊な感情エンコーダーを使用してテキスト、オーディオ、およびビジュアルモダリティを統合する、新しいマルチモーダル感情認識およびマルチモーダル感情原因抽出 (MER-MCE) フレームワークを提案します。
私たちのアプローチは、モダリティ固有の機能を活用して感情の理解と因果関係の推論を強化することで、トップパフォーマンスのチームとは一線を画しています。
実験評価では、マルチモーダルアプローチの利点が実証されており、私たちの提出物は競争力のある加重F1スコア0.3435を達成し、第1チームとわずか0.0339差、第2チームとわずか0.0025差で3位にランクされました。
プロジェクト: https://github.com/MIPS-COLT/MER-MCE.git

要約(オリジナル)

This paper presents our winning submission to Subtask 2 of SemEval 2024 Task 3 on multimodal emotion cause analysis in conversations. We propose a novel Multimodal Emotion Recognition and Multimodal Emotion Cause Extraction (MER-MCE) framework that integrates text, audio, and visual modalities using specialized emotion encoders. Our approach sets itself apart from top-performing teams by leveraging modality-specific features for enhanced emotion understanding and causality inference. Experimental evaluation demonstrates the advantages of our multimodal approach, with our submission achieving a competitive weighted F1 score of 0.3435, ranking third with a margin of only 0.0339 behind the 1st team and 0.0025 behind the 2nd team. Project: https://github.com/MIPS-COLT/MER-MCE.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google