Contrastive Learning with Synthetic Positives

要約

最も近い隣人との対照学習は、同じクラス内の複数のインスタンスの類似性を利用することにより、最も効率的な自己監視学習（SSL）技術の1つであることが証明されています。
ただし、最近隣接するアルゴリズムが主に「簡単な」ポジティブペアを識別するため、その有効性は制約されています。このペアでは、表現はすでに埋め込みスペースに密接に位置しています。
この論文では、モデルが多様な陽性から学習するのを助ける追加の陽性として、無条件の拡散モデルによって生成される合成画像を利用する合成陽性（CLSP）を使用したコントラスト学習（CLSP）と呼ばれる新しいアプローチを紹介します。
拡散モデルサンプリングプロセスの特徴補間により、異なる背景を持つ画像を生成しますが、アンカー画像と同様のセマンティックコンテンツが生成されます。
これらの画像は、アンカー画像の「ハード」ポジティブと見なされ、対照的な損失に補足的なポジティブとして含まれる場合、CIFAR10などの複数のベンチマークデータセットにわたって以前のNNCLRおよびALL4ONEメソッド、最先端の方法を達成するのと比較して、線形評価のパフォーマンス改善に貢献します。
転送学習ベンチマークでは、CLSPは8つのダウンストリームデータセットのうち6つで既存のSSLフレームワークを上回ります。
CLSPは、トレーニングプロセスに合成データを組み込んだ将来のSSL研究のための貴重なベースラインを確立すると考えています。

要約(オリジナル)

Contrastive learning with the nearest neighbor has proved to be one of the most efficient self-supervised learning (SSL) techniques by utilizing the similarity of multiple instances within the same class. However, its efficacy is constrained as the nearest neighbor algorithm primarily identifies ‘easy’ positive pairs, where the representations are already closely located in the embedding space. In this paper, we introduce a novel approach called Contrastive Learning with Synthetic Positives (CLSP) that utilizes synthetic images, generated by an unconditional diffusion model, as the additional positives to help the model learn from diverse positives. Through feature interpolation in the diffusion model sampling process, we generate images with distinct backgrounds yet similar semantic content to the anchor image. These images are considered ‘hard’ positives for the anchor image, and when included as supplementary positives in the contrastive loss, they contribute to a performance improvement of over 2% and 1% in linear evaluation compared to the previous NNCLR and All4One methods across multiple benchmark datasets such as CIFAR10, achieving state-of-the-art methods. On transfer learning benchmarks, CLSP outperforms existing SSL frameworks on 6 out of 8 downstream datasets. We believe CLSP establishes a valuable baseline for future SSL studies incorporating synthetic data in the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google