Leveraging Label Correlations in a Multi-label Setting: A Case Study in Emotion

要約

テキストで表現された感情を検出することは、さまざまな分野で重要になっています。
この作業では、マルチラベル感情認識モデルでラベル相関を利用して感情検出を改善する方法を調査します。
まず、入力に感情を含めるか、Masked Language Modeling (MLM) を活用して、感情の単語自体の単語の関連付けを取得するために、問題に対する 2 つのモデリング アプローチを開発します。
第二に、モデルの分類損失とともに、感情表現のペアワイズ制約を正則化項として統合します。
これらの用語をローカルとグローバルの 2 つのカテゴリに分けます。
前者はゴールド ラベルに基づいて動的に変化しますが、後者はトレーニング中に静的なままです。
SemEval 2018 Task 1 E-c では、単一言語の BERT ベースのモデルを使用して、スペイン語、英語、アラビア語で最先端のパフォーマンスを発揮します。
パフォーマンスの向上に加えて、堅牢性の向上も実証しています。
コードは https://github.com/gchochla/Demux-MEmo で入手できます。

要約(オリジナル)

Detecting emotions expressed in text has become critical to a range of fields. In this work, we investigate ways to exploit label correlations in multi-label emotion recognition models to improve emotion detection. First, we develop two modeling approaches to the problem in order to capture word associations of the emotion words themselves, by either including the emotions in the input, or by leveraging Masked Language Modeling (MLM). Second, we integrate pairwise constraints of emotion representations as regularization terms alongside the classification loss of the models. We split these terms into two categories, local and global. The former dynamically change based on the gold labels, while the latter remain static during training. We demonstrate state-of-the-art performance across Spanish, English, and Arabic in SemEval 2018 Task 1 E-c using monolingual BERT-based models. On top of better performance, we also demonstrate improved robustness. Code is available at https://github.com/gchochla/Demux-MEmo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google