LyS at SemEval-2024 Task 3: An Early Prototype for End-to-End Multimodal Emotion Linking as Graph-Based Parsing

要約

この文書では、会話におけるマルチモーダル感情原因分析に焦点を当てた SemEval 2024 タスク 3 への参加について説明します。
私たちは、依存関係解析からのグラフベースの手法を使用して、多者間の会話における感情の因果関係を特定する、エンドツーエンド システムの初期のプロトタイプを開発しました。
私たちのモデルは、マルチモーダルな会話データを文脈化するためのニューラルトランスフォーマーベースのエンコーダーと、因果関係グラフの隣接行列スコアを生成するためのグラフベースのデコーダーで構成されています。
テキスト入力のみを使用した、サブタスク 1 の有効な公式提出物 15 件中 7 位にランクされました。
また、マルチモーダル入力を使用した事後評価中のサブタスク 2 への参加についても説明します。

要約(オリジナル)

This paper describes our participation in SemEval 2024 Task 3, which focused on Multimodal Emotion Cause Analysis in Conversations. We developed an early prototype for an end-to-end system that uses graph-based methods from dependency parsing to identify causal emotion relations in multi-party conversations. Our model comprises a neural transformer-based encoder for contextualizing multimodal conversation data and a graph-based decoder for generating the adjacency matrix scores of the causal graph. We ranked 7th out of 15 valid and official submissions for Subtask 1, using textual inputs only. We also discuss our participation in Subtask 2 during post-evaluation using multi-modal inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google