Label-Aware Hyperbolic Embeddings for Fine-grained Emotion Classification

要約

きめ細かい感情分類 (FEC) は困難な作業です。
具体的には、FEC はラベル間の微妙なニュアンスを処理する必要があり、これは複雑でわかりにくい場合があります。
既存のモデルのほとんどは、ユークリッド空間でのテキスト分類問題のみに対処していますが、近い意味のラベル (恐怖と恐怖など) がそのような空間では区別されず、パフォーマンスに悪影響を与える可能性があるため、これは最適な解決策ではない可能性があると考えられます。
この論文では、FEC タスクを改善するために双曲線埋め込みを統合できる新しいフレームワークである HypEmo を提案します。
まず、双曲空間でのラベルの埋め込みを学習して階層構造をより適切に捕捉します。次に、モデルは文脈化された表現を双曲空間に投影して、サンプルとラベルの間の距離を計算します。
実験結果は、このような距離と重量のクロスエントロピー損失を組み込むと、大幅に高い効率でパフォーマンスが大幅に向上することを示しています。
提案したモデルを 2 つのベンチマーク データセットで評価したところ、以前の最先端技術と比較して 4.8% の相対的な改善が見られ、パラメーターが 43.2% 減少し、トレーニング時間が 76.9% 減少しました。
コードは https://github.com/dinobby/HypEmo で入手できます。

要約(オリジナル)

Fine-grained emotion classification (FEC) is a challenging task. Specifically, FEC needs to handle subtle nuance between labels, which can be complex and confusing. Most existing models only address text classification problem in the euclidean space, which we believe may not be the optimal solution as labels of close semantic (e.g., afraid and terrified) may not be differentiated in such space, which harms the performance. In this paper, we propose HypEmo, a novel framework that can integrate hyperbolic embeddings to improve the FEC task. First, we learn label embeddings in the hyperbolic space to better capture their hierarchical structure, and then our model projects contextualized representations to the hyperbolic space to compute the distance between samples and labels. Experimental results show that incorporating such distance to weight cross entropy loss substantially improves the performance with significantly higher efficiency. We evaluate our proposed model on two benchmark datasets and found 4.8% relative improvement compared to the previous state of the art with 43.2% fewer parameters and 76.9% less training time. Code is available at https: //github.com/dinobby/HypEmo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google