Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding

要約

多言語文の埋め込みを学習することは、自然言語処理の基本的なタスクです。
単言語文埋め込みと多言語文埋め込みの両方を学習する最近の傾向は、主にアンカー、1 つの肯定的なインスタンス、および複数の否定的なインスタンス間の対照学習 (CL) に基づいています。
この研究では、(1) 多様な言語セットのポジティブは言語間の学習に有益であり、(2) 複数のポジティブ間の推移的な類似性は信頼性の高い構造を提供できるため、多言語文の埋め込みには複数のポジティブを活用することを検討する必要があると主張します。
学習のための情報。
CL における複数のポジティブの影響を調査するために、複数のポジティブ インスタンスを効果的に利用して多言語文埋め込みの学習を向上させる、MPCL と呼ばれる新しいアプローチを提案します。
さまざまなバックボーン モデルと下流タスクに関する実験結果は、MPCL が従来の CL と比較して、検索、意味的類似性、および分類のパフォーマンスに優れていることを示しています。
また、目に見えない言語では、複数のポジティブインスタンスでトレーニングされた文埋め込みモデルの方が、単一のポジティブインスタンスでトレーニングされたモデルよりも優れた言語間伝達パフォーマンスを示すことも観察されています。

要約(オリジナル)

Learning multi-lingual sentence embeddings is a fundamental task in natural language processing. Recent trends in learning both mono-lingual and multi-lingual sentence embeddings are mainly based on contrastive learning (CL) among an anchor, one positive, and multiple negative instances. In this work, we argue that leveraging multiple positives should be considered for multi-lingual sentence embeddings because (1) positives in a diverse set of languages can benefit cross-lingual learning, and (2) transitive similarity across multiple positives can provide reliable structural information for learning. In order to investigate the impact of multiple positives in CL, we propose a novel approach, named MPCL, to effectively utilize multiple positive instances to improve the learning of multi-lingual sentence embeddings. Experimental results on various backbone models and downstream tasks demonstrate that MPCL leads to better retrieval, semantic similarity, and classification performances compared to conventional CL. We also observe that in unseen languages, sentence embedding models trained on multiple positives show better cross-lingual transfer performance than models trained on a single positive instance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google