Topic Bias in Emotion Classification

要約

感情コーパスは通常、キーワード/ハッシュタグ検索に基づいて、または研究参加者にテキストインスタンスを生成するよう依頼することによってサンプリングされます。
いずれにせよ、これらのコーパスはドメイン全体を表す均一なサンプルではありません。
このようなデータ収集の実践により、これらのコーパス内で過剰に表現されたトピック間に非現実的な相関関係が生じ、モデルの一般化可能性が損なわれるのではないかという仮説を立てています。
このような話題の偏りは、「私は叔母の葬儀を企画した」などの誤った予測につながる可能性があります。
ここでは誇りの感情のほうが適切であるにもかかわらず、たとえば葬儀の出来事が悲しみのレッテルを貼られすぎている場合。
この論文では、このトピックのバイアスをデータとモデリングの両方の観点から研究します。
まず、トピック モデリングによって一連の感情コーパスに自動的にラベルを付け、実際に感情が特定のトピックと相関していることを示します。
さらに、感情分類子がそのようなトピックによって混乱していることがわかります。
最後に、勾配反転による敵対的補正の確立されたバイアス除去方法が問題を軽減することを示します。
私たちの研究は、既存の感情コーパスの問題点と、テキストから感情概念を予測するモデルを公正に評価するには、より代表的なリソースが必要であることを指摘しています。

要約(オリジナル)

Emotion corpora are typically sampled based on keyword/hashtag search or by asking study participants to generate textual instances. In any case, these corpora are not uniform samples representing the entirety of a domain. We hypothesize that this practice of data acquisition leads to unrealistic correlations between overrepresented topics in these corpora that harm the generalizability of models. Such topic bias could lead to wrong predictions for instances like ‘I organized the service for my aunt’s funeral.’ when funeral events are over-represented for instances labeled with sadness, despite the emotion of pride being more appropriate here. In this paper, we study this topic bias both from the data and the modeling perspective. We first label a set of emotion corpora automatically via topic modeling and show that emotions in fact correlate with specific topics. Further, we see that emotion classifiers are confounded by such topics. Finally, we show that the established debiasing method of adversarial correction via gradient reversal mitigates the issue. Our work points out issues with existing emotion corpora and that more representative resources are required for fair evaluation of models predicting affective concepts from text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google