Evaluating the Capabilities of Large Language Models for Multi-label Emotion Understanding

要約

大規模言語モデル(LLM)は有望な学習・推論能力を示す。他の自然言語処理タスクと比較して、多言語および複数ラベルの感情評価タスクは、LLMではまだ十分に研究されていない。本論文では、エチオピアの4つの言語、すなわちアムハラ語（amh）、アファンオロモ語（orm）、ソマリ語（som）、ティグリニャ語（tir）のマルチラベル感情分類データセットであるEthioEmoを紹介する。SemEval 2018 Task 1から英語のマルチラベル感情データセットを追加し、広範な実験を行った。我々の評価には、エンコーダのみ、エンコーダ-デコーダ、デコーダのみの言語モデルが含まれる。より小さな言語モデルを微調整するためのLLMのゼロショットと数ショットのアプローチを比較する。その結果、正確なマルチラベル感情分類は、英語のような高リソース言語でもまだ不十分であり、高リソース言語と低リソース言語の性能には大きな隔たりがあることがわかった。また、言語やモデルの種類によって性能レベルが異なることも示されている。EthioEmoは、言語モデルにおける感情や、人々が様々な言語を通してどのように感情を伝えるかについての理解をさらに深めるために、一般公開されています。

要約(オリジナル)

Large Language Models (LLMs) show promising learning and reasoning abilities. Compared to other NLP tasks, multilingual and multi-label emotion evaluation tasks are under-explored in LLMs. In this paper, we present EthioEmo, a multi-label emotion classification dataset for four Ethiopian languages, namely, Amharic (amh), Afan Oromo (orm), Somali (som), and Tigrinya (tir). We perform extensive experiments with an additional English multi-label emotion dataset from SemEval 2018 Task 1. Our evaluation includes encoder-only, encoder-decoder, and decoder-only language models. We compare zero and few-shot approaches of LLMs to fine-tuning smaller language models. The results show that accurate multi-label emotion classification is still insufficient even for high-resource languages such as English, and there is a large gap between the performance of high-resource and low-resource languages. The results also show varying performance levels depending on the language and model type. EthioEmo is available publicly to further improve the understanding of emotions in language models and how people convey emotions through various languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL