MASIVE: Open-Ended Affective State Identification in English and Spanish

要約

感情分析の分野では、NLP 研究の多くは、言語間で適用される限られた数の個別の感情カテゴリを特定することに焦点を当てています。
ただし、これらの基本セットがテキスト データを念頭に置いて設計されていることはほとんどなく、文化、言語、方言が特定の感情の解釈に影響を与える可能性があります。
この研究では、人間が感情の経験を説明するために使用するあらゆる用語を含む、事実上無制限の \textit{感情状態} のセットに範囲を広げます。
私たちは、それぞれ 1,000 を超える固有の感情状態を含む、英語とスペイン語の Reddit 投稿のデータセットである MASIVE を収集して公開しています。
次に、マスクされたスパン予測タスクとして構成された言語生成モデルの \textit{感情状態識別} という新しい問題を定義します。
このタスクでは、地域固有のスペインの感情州であっても、より小規模で微調整された多言語モデルの方が、はるかに大規模な LLM よりも優れたパフォーマンスを発揮することがわかりました。
さらに、MASIVE での事前トレーニングにより、既存の感情ベンチマークでのモデルのパフォーマンスが向上することを示します。
最後に、機械翻訳の実験を通じて、このタスクで優れたパフォーマンスを発揮するには、ネイティブ スピーカーが書いたデータが不可欠であることがわかりました。

要約(オリジナル)

In the field of emotion analysis, much NLP research focuses on identifying a limited number of discrete emotion categories, often applied across languages. These basic sets, however, are rarely designed with textual data in mind, and culture, language, and dialect can influence how particular emotions are interpreted. In this work, we broaden our scope to a practically unbounded set of \textit{affective states}, which includes any terms that humans use to describe their experiences of feeling. We collect and publish MASIVE, a dataset of Reddit posts in English and Spanish containing over 1,000 unique affective states each. We then define the new problem of \textit{affective state identification} for language generation models framed as a masked span prediction task. On this task, we find that smaller finetuned multilingual models outperform much larger LLMs, even on region-specific Spanish affective states. Additionally, we show that pretraining on MASIVE improves model performance on existing emotion benchmarks. Finally, through machine translation experiments, we find that native speaker-written data is vital to good performance on this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google