reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning

要約

我々は、特徴再形成に基づく自己教師あり対比学習文表現フレームワークである reCSE を提案します。
このフレームワークは、離散データ拡張手法を使用する現在の高度なモデルとは異なりますが、代わりに元の文の入力特徴を再形成し、文内の各トークンのグローバル情報を集約し、表現の極性と GPU メモリ消費という一般的な問題を軽減します。
現在の先進モデルでは線形増加。
さらに、当社の reCSE は、意味的類似性タスクにおいて競争力のあるパフォーマンスを達成しました。
そして実験は、私たちが提案した特徴再形成手法が強い普遍性を持っていることを証明しており、他の自己教師あり対比学習フレームワークに移植してその表現能力を強化し、最先端のパフォーマンスを達成することもできます。
私たちのコードは https://github.com/heavenhellchen/reCSE で入手できます。

要約(オリジナル)

We propose reCSE, a self supervised contrastive learning sentence representation framework based on feature reshaping. This framework is different from the current advanced models that use discrete data augmentation methods, but instead reshapes the input features of the original sentence, aggregates the global information of each token in the sentence, and alleviates the common problems of representation polarity and GPU memory consumption linear increase in current advanced models. In addition, our reCSE has achieved competitive performance in semantic similarity tasks. And the experiment proves that our proposed feature reshaping method has strong universality, which can be transplanted to other self supervised contrastive learning frameworks and enhance their representation ability, even achieving state-of-the-art performance. Our code is available at https://github.com/heavenhellchen/reCSE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google