Improving Contrastive Learning of Sentence Embeddings from AI Feedback

要約

タイトル：AI フィードバックによる文章埋め込みの contrastive learning の改善

要約：
– Natural language processing において、文の埋め込みの学習において、contrastive learning が一般的に用いられるようになってきている。
– しかし、自然言語の離散的な性質から、データ拡張手法によって生成される正・負サンプルの質を保証することが難しい。
– 人間のフィードバックラベルを用いた supervised contrastive learning は、より精度の高いサンプルペアを生成することができるものの、fine-grained なトレーニングシグナルが不足している。
– 本論文では、AI のフィードバックを用いて、CLAIF (Contrastive Learning of sentence embeddings from AI Feedback) を提案する。
– 本手法では、大規模な pre-trained language models (LLMs) の AI フィードバックを利用し、サンプルの類似度スコアをより詳細に構築することで、contrastive learning を改善する。
– また、人間のフィードバックと AI フィードバックを組み合わせ、より良い監督信号を提供することで、文の埋め込みの supervised contrastive learning を行う。
– 実験結果は、他の unsupervised および supervised contrastive learning 手法に比べ、STS や transfer learning タスクにおいて最先端の性能を発揮することを示している。

要約(オリジナル)

Contrastive learning has become a popular approach in natural language processing, particularly for the learning of sentence embeddings. However, the discrete nature of natural language makes it difficult to ensure the quality of positive and negative sample pairs generated through data augmentation methods. Although supervised contrastive learning can produce more accurate sample pairs with human feedback labels, it still lacks fine-grained training signals. In this paper, we propose to improve \textbf{C}ontrastive \textbf{L}earning of sentence embeddings from \textbf{AI} \textbf{F}eedback \textbf{(CLAIF)}. Our method utilizes AI feedback from large pre-trained language models (LLMs) to construct sample pairs with fine-grained sample similarity scores to improve contrastive learning. Besides, we combine human feedback and AI feedback to provide better supervision signals for supervised contrastive learning of sentence embeddings. Experimental results show that our method achieves state-of-the-art performance on several semantic textual similarity (STS) and transfer learning tasks compared to other unsupervised and supervised contrastive learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI