Improving Contrastive Learning of Sentence Embeddings from AI Feedback

要約

タイトル：AIフィードバックからの文章埋め込みのコントラスティブ学習の改善

要約：
– コントラスティブ学習は、自然言語処理において、特に文章埋め込みの学習において、一般的な手法になっています。
– しかしながら、自然言語の離散的な性質のため、データ拡張の方法によって生成された正・負のサンプルペアの品質を保証することは困難です。
– 監督付きコントラスティブ学習は、人間のフィードバックラベルによってより正確なサンプルペアを生成することができますが、細かいトレーニングのシグナルを欠いています。
– この論文では、AIフィードバックからの文章埋め込みのコントラスティブ学習の改善（CLAIF）を提案しています。
– 本手法では、大規模な事前学習言語モデル（LLMs）からAIフィードバックを利用して、細かいサンプル類似度スコアを持つサンプルペアを構築し、コントラスティブ学習を改善します。
– さらに、人間のフィードバックとAIフィードバックを組み合わせて、文章埋め込みの監視付きコントラスティブ学習に対するより良い監視信号を提供します。
– 実験結果は、他の監視なしおよび監視付きコントラスティブ学習手法と比較して、いくつかの意味的テキスト類似性（STS）および転移学習タスクにおいて、本手法が最先端の性能を示すことを示しています。

要約(オリジナル)

Contrastive learning has become a popular approach in natural language processing, particularly for the learning of sentence embeddings. However, the discrete nature of natural language makes it difficult to ensure the quality of positive and negative sample pairs generated through data augmentation methods. Although supervised contrastive learning can produce more accurate sample pairs with human feedback labels, it still lacks fine-grained training signals. In this paper, we propose to improve \textbf{C}ontrastive \textbf{L}earning of sentence embeddings from \textbf{AI} \textbf{F}eedback \textbf{(CLAIF)}. Our method utilizes AI feedback from large pre-trained language models (LLMs) to construct sample pairs with fine-grained sample similarity scores to improve contrastive learning. Besides, we combine human feedback and AI feedback to provide better supervision signals for supervised contrastive learning of sentence embeddings. Experimental results show that our method achieves state-of-the-art performance on several semantic textual similarity (STS) and transfer learning tasks compared to other unsupervised and supervised contrastive learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI