Synthetic Hard Negative Samples for Contrastive Learning

要約

タイトル：対比学習のための合成ハードネガティブサンプル

要約：
– 対比学習は、コンピュータビジョンにおける自己教師あり学習の重要な手法の1つとして登場しています。
– 対比学習の主な目的は、同じ画像の2つの拡張バージョン（ポジティブペア）の類似性を最大化し、異なる画像の類似性（ネガティブペア）を最小化することです。
– 近年の研究により、アンカーサンプルと区別がつきにくい、つまり難しいネガティブサンプルが対比学習においてより重要な役割を果たすことが示されています。
– 本研究では、対比学習のための合成ハードネガティブサンプル（SSCL）という新しい特徴レベルの手法を提案して、より効果的に難しいネガティブサンプルを利用します。
– 具体的には、1）ネガティブサンプルを混ぜ合わせることで、より多く、より難しいネガティブサンプルを生成し、アンカーサンプルと他のネガティブサンプルの対比度を制御してサンプリングします。2）サンプリングによって得られたネガティブサンプルには、偽陰性サンプルの問題がある可能性があるため、さらにネガティブサンプルをバイアス補正します。
– 提案された方法は、さまざまな画像データセットで分類性能を向上させることができ、既存の方法に容易に適用することができます。

要約(オリジナル)

Contrastive learning has emerged as an essential approach for self-supervised learning in computer vision. The central objective of contrastive learning is to maximize the similarities between two augmented versions of the same image (positive pairs), while minimizing the similarities between different images (negative pairs). Recent studies have demonstrated that harder negative samples, i.e., those that are difficult to distinguish from anchor sample, play a more critical role in contrastive learning. In this paper, we propose a novel featurelevel method, namely sampling synthetic hard negative samples for contrastive learning (SSCL), to exploit harder negative samples more effectively. Specifically, 1) we generate more and harder negative samples by mixing negative samples, and then sample them by controlling the contrast of anchor sample with the other negative samples. 2) Considering that the negative samples obtained by sampling may have the problem of false negative samples, we further debias the negative samples. Our proposed method improves the classification performance on different image datasets and can be readily applied to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI