SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection

要約

テキストベースの感情検出に関する共有タスクを提示し、7つの異なる言語ファミリから30以上の言語をカバーしています。
これらの言語は主に低リソースであり、さまざまな大陸で話されています。
データインスタンスは6つの感情クラスにマルチラベル付けされており、感情強度のために注釈が付けられた11の言語の追加データセットがあります。
参加者は、3つのトラックでラベルを予測するように求められました：（a）単一言語の設定での感情ラベル、（b）感情強度スコア、および（c）言語間設定の感情ラベル。
このタスクは、700人以上の参加者を引き付けました。
200を超えるチームと93のシステム説明論文から最終的な提出を受け取りました。
ベースラインの結果、および最もパフォーマンスの高いシステム、最も一般的なアプローチ、およびさまざまなトラックや言語で最も効果的な方法に関する調査結果を報告します。
このタスクのデータセットは公開されています。

要約(オリジナル)

We present our shared task on text-based emotion detection, covering more than 30 languages from seven distinct language families. These languages are predominantly low-resource and spoken across various continents. The data instances are multi-labeled into six emotional classes, with additional datasets in 11 languages annotated for emotion intensity. Participants were asked to predict labels in three tracks: (a) emotion labels in monolingual settings, (b) emotion intensity scores, and (c) emotion labels in cross-lingual settings. The task attracted over 700 participants. We received final submissions from more than 200 teams and 93 system description papers. We report baseline results, as well as findings on the best-performing systems, the most common approaches, and the most effective methods across various tracks and languages. The datasets for this task are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google