要約
感情分類は、言語表現に固有の特異性と主観的性質のため、特にコード混在データでは、自然言語処理における困難なタスクである。事前に訓練された言語モデル（PLM）は、多くのタスクや言語に対して高い性能を達成しているが、これらのモデルが学習し、言語間の感情表現の違いに対してロバストであるかどうかはまだわかっていない。社会言語学的研究により、ヒングリッシュ語話者が否定的な感情を表現するときはヒンディー語に、肯定的な感情を表現するときは英語に切り替えることが示されている。言語モデルがこのような関連性を学習できるかどうかを理解するために、我々はヒングリッシュ語の感情分類データセットを用いて、3つのPLMの感情予測に対する言語の効果を研究する。LIMEとトークン・レベルの言語IDを使用することで、モデルは言語選択と感情表現の間のこれらの関連性を学習することがわかりました。さらに、タスク固有のデータが乏しい場合、事前学習でコード混合データが存在することで、その学習を補強することができる。また、誤分類から、モデルはこの社会言語学的現象が適用されない他のまれな例に対して、このヒューリスティックを過剰に一般化する可能性があると結論付けた。
要約(オリジナル)
Emotion classification is a challenging task in NLP due to the inherent idiosyncratic and subjective nature of linguistic expression, especially with code-mixed data. Pre-trained language models (PLMs) have achieved high performance for many tasks and languages, but it remains to be seen whether these models learn and are robust to the differences in emotional expression across languages. Sociolinguistic studies have shown that Hinglish speakers switch to Hindi when expressing negative emotions and to English when expressing positive emotions. To understand if language models can learn these associations, we study the effect of language on emotion prediction across 3 PLMs on a Hinglish emotion classification dataset. Using LIME and token level language ID, we find that models do learn these associations between language choice and emotional expression. Moreover, having code-mixed data present in the pre-training can augment that learning when task-specific data is scarce. We also conclude from the misclassifications that the models may overgeneralise this heuristic to other infrequent examples where this sociolinguistic phenomenon does not apply.
arxiv情報
| 著者 | Kushal Tatariya,Heather Lent,Johannes Bjerva,Miryam de Lhoneux |
| 発行日 | 2024-02-05 16:05:32+00:00 |
| arxivサイト | arxiv_id(pdf) |