UNSEE: Unsupervised Non-contrastive Sentence Embeddings

要約

SimCSEのMassive Text Embeddingベンチマークにおいて、SimCSEを凌駕する新しいアプローチであるUNSEE: Unsupervised Non-Contrastive Sent Embeddingsを紹介する。これは、SimCSEの対照的な目的が非対照的な目的に置き換わった場合に見られる現象である。この問題に対処するため、ターゲットネットワークとして知られる簡単な解決策を提案し、表現崩壊を効果的に緩和します。ターゲットネットワークを導入することで、非対照的目標を活用し、訓練の安定性を維持しながら、対比的目標に匹敵する性能向上を達成することができる。我々の手法は、綿密な微調整と最適化により、非対照文埋め込みにおいて最高の性能を達成した。この包括的な取り組みにより、優れた文表現モデルが得られ、我々のアプローチの有効性が示された。

要約(オリジナル)

We present UNSEE: Unsupervised Non-Contrastive Sentence Embeddings, a novel approach that outperforms SimCSE in the Massive Text Embedding benchmark. Our exploration begins by addressing the challenge of representation collapse, a phenomenon observed when contrastive objectives in SimCSE are replaced with non-contrastive objectives. To counter this issue, we propose a straightforward solution known as the target network, effectively mitigating representation collapse. The introduction of the target network allows us to leverage non-contrastive objectives, maintaining training stability while achieving performance improvements comparable to contrastive objectives. Our method has achieved peak performance in non-contrastive sentence embeddings through meticulous fine-tuning and optimization. This comprehensive effort has yielded superior sentence representation models, showcasing the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL