Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with Variational Information Bottleneck and Contrastive Learning

要約

深層学習技術は、アスペクトベースの感情分析 (ABSA) に関する文献を支配しており、最先端の結果を生み出しています。
ただし、これらのディープ モデルは一般に、入力フィーチャと出力ラベルの間の疑似相関の問題に悩まされており、堅牢性と一般化機能に重大な障壁が生じます。
この論文では、ABSA の疑似相関を減らすために、新しい対照的変分情報ボトルネック フレームワーク (CVIB と呼ばれる) を提案します。
提案された CVIB フレームワークは、独自のネットワークと自己枝刈りされたネットワークで構成され、これら 2 つのネットワークは対照学習によって同時に最適化されます。
具体的には、Variational Information Bottleneck (VIB) の原理を使用して、元のネットワークから有益で圧縮されたネットワーク (自己剪定ネットワーク) を学習します。これにより、入力特徴と予測ラベルの間の余分なパターンまたは疑似相関が破棄されます。
次に、意味的に類似した正のペアをまとめて、類似しないペアを押しのける自己剪定対比学習が考案されました。ここで、元のネットワークと自己剪定されたネットワークによってそれぞれ学習されたアンカーの表現は正のペアと見なされ、2 つの異なる表現は正のペアと見なされます。
ミニバッチ内の文は、負のペアとして扱われます。
CVIB メソッドの有効性を検証するために、5 つのベンチマーク ABSA データセットで広範な実験を行い、実験結果は、全体的な予測パフォーマンス、ロバスト性、および一般化の点で、強力な競合他社よりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Deep learning techniques have dominated the literature on aspect-based sentiment analysis (ABSA), yielding state-of-the-art results. However, these deep models generally suffer from spurious correlation problems between input features and output labels, which creates significant barriers to robustness and generalization capability. In this paper, we propose a novel Contrastive Variational Information Bottleneck framework (called CVIB) to reduce spurious correlations for ABSA. The proposed CVIB framework is composed of an original network and a self-pruned network, and these two networks are optimized simultaneously via contrastive learning. Concretely, we employ the Variational Information Bottleneck (VIB) principle to learn an informative and compressed network (self-pruned network) from the original network, which discards the superfluous patterns or spurious correlations between input features and prediction labels. Then, self-pruning contrastive learning is devised to pull together semantically similar positive pairs and push away dissimilar pairs, where the representations of the anchor learned by the original and self-pruned networks respectively are regarded as a positive pair while the representations of two different sentences within a mini-batch are treated as a negative pair. To verify the effectiveness of our CVIB method, we conduct extensive experiments on five benchmark ABSA datasets and the experimental results show that our approach achieves better performance than the strong competitors in terms of overall prediction performance, robustness, and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google