English Prompts are Better for NLI-based Zero-Shot Emotion Classification than Target-Language Prompts

要約

テキスト内の感情の分類は、テキストの刺激を解釈するために必要な認知推論プロセスが必要となるため、困難で主観的な作業です。
さらに、感情カテゴリのセットは非常にドメイン固有です。
たとえば、文献分析では美的感情の使用 (例: 美しいものを見つける) が必要になる場合があり、ソーシャル メディア分析では、基本的な感情カテゴリとは対照的に、きめの細かいセット (例: 怒りと不快感の分離) の恩恵を受ける可能性があります。
これにより、タスクはゼロショット分類にとって興味深いフィールドとなり、モデル開発時にはラベルセットが不明になります。
残念ながら、感情分析のほとんどのリソースは英語であるため、テキスト ラベルの言語モデルのプロンプトに関する研究も含め、感情分析に関する研究のほとんどは英語で行われています。
このため、この論文で取り上げる研究上のギャップが残ります。英語以外のテキストではどの言語で感情ラベルを表示する必要がありますか?
これは、多言語の大規模言語モデルにアクセスできる場合に特に興味深いものです。英語以外のデータでも英語のプロンプトを含むラベルを要求できるためです。
自然言語推論ベースの言語モデルを使った実験では、データが別の言語で書かれている場合でも、英語のプロンプトを使用する方が一貫して優れていることがわかりました。

要約(オリジナル)

Emotion classification in text is a challenging and subjective task, due to the involved cognitive inference processes that are required to interpret a textual stimulus. In addition, the set of emotion categories is highly domain-specific. For instance, literature analysis might require the use of aesthetic emotions (e.g., finding something beautiful), and social media analysis could benefit from fine-grained sets (e.g., separating anger from annoyance) in contrast to basic emotion categories. This renders the task an interesting field for zero-shot classifications, in which the label set is not known at model development time. Unfortunately, most resources for emotion analysis are English, and therefore, most studies on emotion analysis have been performed in English, including those that involve prompting language models for text labels. This leaves us with a research gap that we address in this paper: In which language should we prompt for emotion labels on non-English texts? This is particularly of interest when we have access to a multilingual large language model, because we could request labels with English prompts even for non-English data. Our experiments with natural language inference-based language models show that it is consistently better to use English prompts even if the data is in a different language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google