English Prompts are Better for NLI-based Zero-Shot Emotion Classification than Target-Language Prompts

要約

テキスト内の感情の分類は、潜在的な感情刺激のテキストの説明を解釈するときに必要なプロセスのため、困難な作業です。
さらに、感情カテゴリのセットは非常にドメイン固有です。
たとえば、文献分析では美的感情の使用（例：美しいものを見つける）が必要になる可能性があり、ソーシャルメディア分析では、これまでのような基本的なカテゴリを表すものだけでなく、きめの細かいセット（例：怒りと不快感の分離）から恩恵を受ける可能性があります。
ポール・エクマンによって提案された（怒り、嫌悪、恐怖、喜び、驚き、悲しみ）。
これにより、タスクはゼロショット分類にとって興味深いフィールドとなり、モデル開発時にはラベルセットが不明になります。
残念ながら、感情分析のほとんどのリソースは英語であるため、テキスト ラベルの言語モデルのプロンプトに関する研究も含め、感情分析に関する研究のほとんどは英語で行われています。
このため、この論文で取り上げる研究上のギャップが残ります。英語以外のテキストではどの言語で感情ラベルを表示する必要がありますか?
これは、多言語の大規模言語モデルにアクセスできる場合に特に興味深いものです。英語以外のデータでも英語のプロンプトを含むラベルを要求できるためです。
自然言語推論ベースの言語モデルを使った実験では、データが別の言語で書かれている場合でも、英語のプロンプトを使用する方が一貫して優れていることがわかりました。

要約(オリジナル)

Emotion classification in text is a challenging task due to the processes involved when interpreting a textual description of a potential emotion stimulus. In addition, the set of emotion categories is highly domain-specific. For instance, literature analysis might require the use of aesthetic emotions (e.g., finding something beautiful), and social media analysis could benefit from fine-grained sets (e.g., separating anger from annoyance) than only those that represent basic categories as they have been proposed by Paul Ekman (anger, disgust, fear, joy, surprise, sadness). This renders the task an interesting field for zero-shot classifications, in which the label set is not known at model development time. Unfortunately, most resources for emotion analysis are English, and therefore, most studies on emotion analysis have been performed in English, including those that involve prompting language models for text labels. This leaves us with a research gap that we address in this paper: In which language should we prompt for emotion labels on non-English texts? This is particularly of interest when we have access to a multilingual large language model, because we could request labels with English prompts even for non-English data. Our experiments with natural language inference-based language models show that it is consistently better to use English prompts even if the data is in a different language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google