Contrastive variational information bottleneck for aspect-based sentiment analysis

要約

ディープラーニング技術は、アスペクトベースの感情分析 (ABSA) に関する文献を支配しており、最先端のパフォーマンスを実現しています。
ただし、深いモデルでは一般に、入力特徴と出力ラベルの間の誤った相関が発生し、堅牢性と一般化能力が大幅に損なわれます。
この論文では、新しい Contrastive variational Information Bottleneck フレームワーク (CVIB と呼ばれる) を介して、ABSA の偽相関を削減することを提案します。
提案する CVIB フレームワークは独自のネットワークと自己枝刈りネットワークで構成されており、これら 2 つのネットワークは対照学習によって同時に最適化されます。
具体的には、変分情報ボトルネック (VIB) 原理を使用して、元のネットワークから有益な圧縮ネットワーク (自己枝刈りネットワーク) を学習します。これにより、入力特徴と予測ラベルの間の余分なパターンや偽の相関が破棄されます。
次に、意味的に類似した正のペアをまとめ、異なるペアを押しのける自己枝刈り対比学習が考案されます。元のネットワークと自己枝刈りネットワークによってそれぞれ学習されたアンカーの表現は正のペアとみなされ、2 つの異なるアンカーの表現は正のペアと見なされます。
ミニバッチ内の文は負のペアとして扱われます。
CVIB 手法の有効性を検証するために、5 つのベンチマーク ABSA データセットに対して広範な実験を実施しました。実験結果は、私たちのアプローチが全体的な予測パフォーマンス、堅牢性、一般化の点で強力な競合他社よりも優れたパフォーマンスを達成していることを示しています。
この論文の結果を再現するためのコードとデータは、https://github.com/shesshan/CVIB から入手できます。

要約(オリジナル)

Deep learning techniques have dominated the literature on aspect-based sentiment analysis (ABSA), achieving state-of-the-art performance. However, deep models generally suffer from spurious correlations between input features and output labels, which hurts the robustness and generalization capability by a large margin. In this paper, we propose to reduce spurious correlations for ABSA, via a novel Contrastive Variational Information Bottleneck framework (called CVIB). The proposed CVIB framework is composed of an original network and a self-pruned network, and these two networks are optimized simultaneously via contrastive learning. Concretely, we employ the Variational Information Bottleneck (VIB) principle to learn an informative and compressed network (self-pruned network) from the original network, which discards the superfluous patterns or spurious correlations between input features and prediction labels. Then, self-pruning contrastive learning is devised to pull together semantically similar positive pairs and push away dissimilar pairs, where the representations of the anchor learned by the original and self-pruned networks respectively are regarded as a positive pair while the representations of two different sentences within a mini-batch are treated as a negative pair. To verify the effectiveness of our CVIB method, we conduct extensive experiments on five benchmark ABSA datasets and the experimental results show that our approach achieves better performance than the strong competitors in terms of overall prediction performance, robustness, and generalization. Code and data to reproduce the results in this paper is available at: https://github.com/shesshan/CVIB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google