Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations

要約

文表現の教師なし学習の強化は、対照学習の利用によって大幅に達成されました。
このアプローチでは、拡張されたポジティブ インスタンスをアンカー インスタンスとクラスター化して、必要な埋め込みスペースを作成します。
ただし、対照的な目的のみに依存すると、正のペア間の微妙な意味の違いを区別できないため、最適な結果が得られない可能性があります。
具体的には、一般的なデータ拡張技術では意味上の歪みが頻繁に導入され、ポジティブ ペア間に意味上のマージンが生じます。
InfoNCE 損失関数は意味的余裕を無視し、トレーニング中にポジティブ ペア間の類似性の最大化を優先するため、トレーニングされたモデルの意味的理解能力が鈍くなります。
この論文では、異なる拡張技術によって生成されたさまざまなポジティブペアに同時に適応できる、新しい Identical and Fraternal Twins of Contrastive Learning (IFTCL と呼ばれる) フレームワークを紹介します。
私たちは、トレーニング中に固有のマージンを維持し、次善の問題を克服するためにデータ拡張の可能性を促進する \textit{Twins Loss} を提案します。
また、提案されたツインズ損失の有効性を証明するために、対照的な目的と組み合わせた概念実証実験も紹介します。
さらに、追加の計算を行わずにネガティブインスタンスを復元して再利用するための海馬キューメカニズムを提案します。これにより、IFCLの効率とパフォーマンスがさらに向上します。
英語と中国語の両方のデータセットを使用して、9 つの意味論的テキスト類似性タスクに関する IFCL フレームワークを検証しました。実験結果は、IFCL が最先端の手法よりも優れていることを示しています。

要約(オリジナル)

The enhancement of unsupervised learning of sentence representations has been significantly achieved by the utility of contrastive learning. This approach clusters the augmented positive instance with the anchor instance to create a desired embedding space. However, relying solely on the contrastive objective can result in sub-optimal outcomes due to its inability to differentiate subtle semantic variations between positive pairs. Specifically, common data augmentation techniques frequently introduce semantic distortion, leading to a semantic margin between the positive pair. While the InfoNCE loss function overlooks the semantic margin and prioritizes similarity maximization between positive pairs during training, leading to the insensitive semantic comprehension ability of the trained model. In this paper, we introduce a novel Identical and Fraternal Twins of Contrastive Learning (named IFTCL) framework, capable of simultaneously adapting to various positive pairs generated by different augmentation techniques. We propose a \textit{Twins Loss} to preserve the innate margin during training and promote the potential of data enhancement in order to overcome the sub-optimal issue. We also present proof-of-concept experiments combined with the contrastive objective to prove the validity of the proposed Twins Loss. Furthermore, we propose a hippocampus queue mechanism to restore and reuse the negative instances without additional calculation, which further enhances the efficiency and performance of the IFCL. We verify the IFCL framework on nine semantic textual similarity tasks with both English and Chinese datasets, and the experimental results show that IFCL outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google