Sparse Contrastive Learning of Sentence Embeddings

要約

最近、SimCSE は文埋め込みのトレーニングにおける対比学習の実現可能性を示し、整列された均一な埋め込み空間にわたる表現力を実証しました。
ただし、これまでの研究では、密なモデルにはモデルのパフォーマンスに影響を与える有害なパラメーターが含まれている可能性があることが示されており、そのようなパラメーターを使用して SimCSE が発明されることも不思議ではありません。
これにより、パラメータのスパース化が適用され、整列スコアと均一性スコアを使用して、文埋め込みの全体的な品質に対する各パラメータの寄与が測定されます。
予備調査に基づいて、寄与が最小限のパラメーターは有害であると考えます。これは、そのスパース化によりモデルのパフォーマンスが向上するためです。
有害なパラメータの遍在性について議論し、それらを除去するために、標準的な意味論的テキスト類似性 (STS) タスクと転移学習タスクに関するさらなる実験が行われ、その結果は、提案されたスパース化 SimCSE (SparseCSE) が SimCSE と比較して優れたパフォーマンスを有することを示しています。
さらに、詳細な分析を通じて、スパース化手法の有効性と安定性を確立し、SparseCSE によって生成された埋め込み空間が SimCSE によって生成されたものと比較して改善された位置合わせを示すことを示しました。
重要なのは、均一性が依然として妥協していないことです。

要約(オリジナル)

Recently, SimCSE has shown the feasibility of contrastive learning in training sentence embeddings and illustrates its expressiveness in spanning an aligned and uniform embedding space. However, prior studies have shown that dense models could contain harmful parameters that affect the model performance, and it is no wonder that SimCSE can as well be invented with such parameters. Driven by this, parameter sparsification is applied, where alignment and uniformity scores are used to measure the contribution of each parameter to the overall quality of sentence embeddings. Drawing from a preliminary study, we consider parameters with minimal contributions to be detrimental, as their sparsification results in improved model performance. To discuss the ubiquity of detrimental parameters and remove them, more experiments on the standard semantic textual similarity (STS) tasks and transfer learning tasks are conducted, and the results show that the proposed sparsified SimCSE (SparseCSE) has excellent performance in comparison with SimCSE. Furthermore, through in-depth analysis, we establish the validity and stability of our sparsification method, showcasing that the embedding space generated by SparseCSE exhibits improved alignment compared to that produced by SimCSE. Importantly, the uniformity yet remains uncompromised.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google