English Prompts are Better for NLI-based Zero-Shot Emotion Classification than Target-Language Prompts

要約

テキスト中の感情分類は、テキスト刺激を解釈するために必要な認知的推論プロセスが関与するため、困難で主観的なタスクである。さらに、感情カテゴリのセットは非常にドメイン固有である。例えば、文学分析では、美的感情（例えば、美しいものを見つける）を使用する必要があるかもしれませんし、ソーシャルメディア分析では、基本的な感情カテゴリとは対照的に、きめ細かなセット（例えば、怒りとイライラを分ける）から利益を得ることができるかもしれません。このため、このタスクは、モデル開発時にラベルセットが知られていないゼロショット分類にとって興味深い分野となる。残念なことに、感情分析のためのリソースのほとんどは英語であり、したがって、感情分析に関する研究のほとんどは、テキストラベルの言語モデルのプロンプトを含む、英語で行われてきた。このため、本稿で取り上げる研究ギャップが残されている：英語以外のテキストでは、どの言語で感情ラベルのプロンプトを出すべきか？これは、多言語の大規模な言語モデルを利用できる場合に特に興味深い。なぜなら、英語以外のデータであっても、英語のプロンプトでラベルを要求できるからである。自然言語推論に基づく言語モデルを用いた我々の実験では、データが異なる言語であっても、一貫して英語のプロンプトを使用する方が良いことが示されている。

要約(オリジナル)

Emotion classification in text is a challenging and subjective task, due to the involved cognitive inference processes that are required to interpret a textual stimulus. In addition, the set of emotion categories is highly domain-specific. For instance, literature analysis might require the use of aesthetic emotions (e.g., finding something beautiful), and social media analysis could benefit from fine-grained sets (e.g., separating anger from annoyance) in contrast to basic emotion categories. This renders the task an interesting field for zero-shot classifications, in which the label set is not known at model development time. Unfortunately, most resources for emotion analysis are English, and therefore, most studies on emotion analysis have been performed in English, including those that involve prompting language models for text labels. This leaves us with a research gap that we address in this paper: In which language should we prompt for emotion labels on non-English texts? This is particularly of interest when we have access to a multilingual large language model, because we could request labels with English prompts even for non-English data. Our experiments with natural language inference-based language models show that it is consistently better to use English prompts even if the data is in a different language.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL