ESCL: Equivariant Self-Contrastive Learning for Sentence Representations

要約

文表現のための以前の対照的な学習方法は、多くの場合、正のペアを生成するために無感覚な変換に焦点を当てていますが、意味表現に有害な高感度な変換の役割を無視しています。
したがって、敏感な変換を最大限に活用するための同等の自己コントラスト学習 (ESCL) メソッドを提案します。
一方、実用性と一般性を向上させるために、ESCL は、マルチタスク学習の観点からモデル パラメーターを共有するために、従来の同変対比法の実装を簡素化します。
セマンティックテキストの類似性タスクでESCLを評価します。
提案された方法は、以前の方法と比較してより少ない学習パラメーターを使用しながら、より良い結果を達成します。

要約(オリジナル)

Previous contrastive learning methods for sentence representations often focus on insensitive transformations to produce positive pairs, but neglect the role of sensitive transformations that are harmful to semantic representations. Therefore, we propose an Equivariant Self-Contrastive Learning (ESCL) method to make full use of sensitive transformations, which encourages the learned representations to be sensitive to certain types of transformations with an additional equivariant learning task. Meanwhile, in order to improve practicability and generality, ESCL simplifies the implementations of traditional equivariant contrastive methods to share model parameters from the perspective of multi-task learning. We evaluate our ESCL on semantic textual similarity tasks. The proposed method achieves better results while using fewer learning parameters compared to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google