SemEval-2023 Task 12: Sentiment Analysis for African Languages (AfriSenti-SemEval)

要約

タイトル：SemEval-2023 Task 12: Sentiment Analysis for African Languages (AfriSenti-SemEval)

要約：

– AfriSenti-SemEvalは、14のアフリカ言語（アムハラ語、アルジェリアンアラビア語、ハウサ語、イボ語、キニヤルワンダ語、モロッコアラビア語、モザンビークポルトガル語、ナイジェリアピジン、オロモ語、スワヒリ語、ティグリニャ語、トゥイ語、シブンタ語、ヨルバ語）を用いた感情分析のためのデータセットである。データセットはhttps://github.com/afrisenti-semeval/afrisent-semeval-2023から利用可能。
– AfriSenti-SemEvalには、3つのラベル（正、負、中立）を持つ3クラスのラベル付きデータを使用し、(1)モノリンガル分類、(2)マルチリンガル分類、および(3)ゼロショット分類の3つのサブタスクがある。
– 44の提出物があったTask A（モノリンガル分類）、32の提出物があったTask B（マルチリンガル分類）、および34の提出物があったTask C（ゼロショット分類）である。
– Task AおよびBの最良のシステムは、それぞれNLNDEチームによって71.31および75.06の重み付きF1で達成された。
– Task Cの平均で最良のシステムは、UCAS-IIE-NLPによって58.15の重み付きF1で達成された。
– 上位10システムの採用した様々なアプローチについて説明する。

要約(オリジナル)

We present the first Africentric SemEval Shared task, Sentiment Analysis for African Languages (AfriSenti-SemEval) – the dataset is available at https://github.com/afrisenti-semeval/afrisent-semeval-2023. AfriSenti-SemEval is a sentiment classification challenge in 14 African languages – Amharic, Algerian Arabic, Hausa, Igbo, Kinyarwanda, Moroccan Arabic, Mozambican Portuguese, Nigerian Pidgin, Oromo, Swahili, Tigrinya, Twi, Xitsonga, and Yor\`ub\’a (Muhammad et al., 2023), using a 3-class labeled data: positive, negative, and neutral. We present three subtasks: (1) Task A: monolingual classification, which received 44 submissions; (2) Task B: multilingual classification, which received 32 submissions; and (3) Task C: zero-shot classification, which received 34 submissions. The best system for tasks A and B was achieved by NLNDE team with 71.31 and 75.06 weighted F1, respectively. UCAS-IIE-NLP achieved the best system on average for task C with 58.15 weighted F1. We describe the various approaches adopted by the top 10 systems and their approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI