Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with Variational Information Bottleneck and Contrastive Learning

要約

アスペクトベースの感情分析（ABSA）に関する文献は、ディープニューラルネットワークに圧倒され、ABSAの最先端結果をもたらしている。しかし、これらのディープモデルは、入力特徴と出力ラベルの間のスプリアスな相関を学習しやすく、一般に、ロバスト性と汎化性が低いという問題がある。本論文では、ABSAのためにスプリアス相関を低減するための新しいContrastive Variational Information Bottleneckフレームワーク（CVIBと呼ぶ）を提案する。提案するCVIBフレームワークは、オリジナルネットワークと自己刈り込みネットワークで構成され、これら2つのネットワークは対比的学習によって同時に最適化される。具体的には、変分情報ボトルネック（VIB）原理を用い、入力特徴と予測ラベルの間の余分なパターンやスプリアス相関を取り除く、情報量が多く圧縮されたネットワーク（セルフプルーニングネットワーク）をオリジナルネットワークから学習する。このとき、元のネットワークとセルフプルーニングされたネットワークがそれぞれ学習したアンカーの表現は正のペアとみなされ、ミニバッチ内の異なる2つの文の表現は負のペアとして扱われる。5つのベンチマークABSAデータセットを用いた広範な実験により、我々のCVIB法が、総合的な予測性能、頑健性、汎化性の面で、強力な競合他社よりも優れた性能を達成することが示された。

要約(オリジナル)

The literature on aspect-based sentiment analysis (ABSA) has been overwhelmed by deep neural networks, yielding state-of-the-art results for ABSA. However, these deep models are susceptible to learning spurious correlations between input features and output labels, which in general suffer from poor robustness and generalization. In this paper, we propose a novel Contrastive Variational Information Bottleneck framework (called CVIB) to reduce spurious correlations for ABSA. The proposed CVIB framework is composed of an original network and a self-pruned network, and these two networks are optimized simultaneously via contrastive learning. Concretely, we employ the Variational Information Bottleneck (VIB) principle to learn an informative and compressed network (self-pruned network) from the original network, which discards the superfluous patterns or spurious correlations between input features and prediction labels. Then, self-pruning contrastive learning is devised to pull together semantically similar positive pairs and push away dissimilar pairs, where the representations of the anchor learned by the original and self-pruned networks respectively are regarded as a positive pair while the representations of two different sentences within a mini-batch are treated as a negative pair. Extensive experiments on five benchmark ABSA datasets demonstrate that our CVIB method achieves better performance than the strong competitors in terms of overall prediction performance, robustness, and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL