ImSimCSE: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives

要約

この論文は、ドロップアウト ノイズの処理と特徴の破損への対処という 2 つの観点から、文埋め込みの対比学習を改善することを目的としています。
具体的には、最初の観点では、負のペアからのドロップアウト ノイズがモデルのパフォーマンスに影響を与えることを特定します。
そこで、この種のノイズに対処するための簡単で効果的な方法を提案します。
次に、現在のソリューションのランクのボトルネックである機能の破損を特定し、この問題に対処するための次元ごとの対照的な学習目標を提案します。
提案された両方の方法は汎用的であり、文埋め込みのためのあらゆる対照学習ベースのモデルに適用できます。
標準ベンチマークの実験結果は、提案された両方の方法を組み合わせると、BERT ベースで構成された強力なベースライン SimCSE と比較して 1.8 ポイントのゲインが得られることを示しています。
さらに、提案された方法を別の強力な対比学習ベースのベースラインである DiffCSE に適用すると、1.4 ポイントの向上が得られます。

要約(オリジナル)

This paper aims to improve contrastive learning for sentence embeddings from two perspectives: handling dropout noise and addressing feature corruption. Specifically, for the first perspective, we identify that the dropout noise from negative pairs affects the model’s performance. Therefore, we propose a simple yet effective method to deal with such type of noise. Secondly, we pinpoint the rank bottleneck of current solutions to feature corruption and propose a dimension-wise contrastive learning objective to address this issue. Both proposed methods are generic and can be applied to any contrastive learning based models for sentence embeddings. Experimental results on standard benchmarks demonstrate that combining both proposed methods leads to a gain of 1.8 points compared to the strong baseline SimCSE configured with BERT base. Furthermore, applying the proposed method to DiffCSE, another strong contrastive learning based baseline, results in a gain of 1.4 points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google