Topic Bias in Emotion Classification

要約

感情コーパスは通常、キーワード/ハッシュタグ検索に基づいて、または研究参加者にテキストインスタンスを生成してもらうことによってサンプリングされる。いずれにせよ、これらのコーパスは、ドメイン全体を代表する一様なサンプルではない。我々は、このようなデータ収集のやり方が、これらのコーパスで過剰に表現されたトピック間の非現実的な相関を引き起こし、モデルの一般化可能性を損なうという仮説を立てた。このようなトピックバイアスは、「私は叔母の葬儀のためのサービスを組織した」のようなインスタンスの予測を誤らせる可能性がある。葬儀のイベントは、プライドという感情がより適切であるにもかかわらず、悲しみとラベル付けされたインスタンスに過剰に表現されるからである。本論文では、このトピックの偏りをデータとモデリングの両面から研究する。まず、トピックモデリングによって一連の感情コーパスを自動的にラベル付けし、感情が実際に特定のトピックと相関していることを示す。さらに、感情分類器がそのようなトピックによって混乱させられることを示す。最後に、勾配反転による敵対的補正という確立されたデビアス手法が、この問題を軽減することを示す。本研究では、既存の感情コーパスの問題点を指摘し、テキストから感情概念を予測するモデルを公正に評価するためには、より代表的なリソースが必要であることを示す。

要約(オリジナル)

Emotion corpora are typically sampled based on keyword/hashtag search or by asking study participants to generate textual instances. In any case, these corpora are not uniform samples representing the entirety of a domain. We hypothesize that this practice of data acquisition leads to unrealistic correlations between overrepresented topics in these corpora that harm the generalizability of models. Such topic bias could lead to wrong predictions for instances like ‘I organized the service for my aunt’s funeral.’ when funeral events are over-represented for instances labeled with sadness, despite the emotion of pride being more appropriate here. In this paper, we study this topic bias both from the data and the modeling perspective. We first label a set of emotion corpora automatically via topic modeling and show that emotions in fact correlate with specific topics. Further, we see that emotion classifiers are confounded by such topics. Finally, we show that the established debiasing method of adversarial correction via gradient reversal mitigates the issue. Our work points out issues with existing emotion corpora and that more representative resources are required for fair evaluation of models predicting affective concepts from text.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL