Synthetic Hard Negative Samples for Contrastive Learning

要約

【タイトル】
対比学習のための合成ハードネガティブサンプル

【要約】
– 対比学習は、視覚的表現学習における自己教示学習において必須のアプローチとして現れている。
– 対比学習の中心的な目的は、2つの拡張された画像の類似性（ポジティブペア）を最大化する一方で、異なる画像の類似性（ネガティブペア）を最小化することである。
– 最近の研究により、アンカーサンプルとの区別がより困難なより難しいネガティブサンプルの方が対比学習においてより重要な役割を果たすことが示されている。
– 本論文では、合成ハードネガティブサンプルのサンプリング（SSCL）という新しいフィーチャーレベルのメソッドを提案し、より効果的に難しいネガティブサンプルを利用する。
– 具体的には、1）ネガティブサンプルを混ぜ合わせてより多くの難しいネガティブサンプルを生成し、アンカーサンプルと他のネガティブサンプルとのコントラストを制御してサンプリングする。2）偽のネガティブサンプルの可能性を考慮し、ネガティブサンプルを補正する。
– 提案手法は、さまざまな画像データセットにおける分類性能を改善し、既存のメソッドに容易に統合できる。

要約(オリジナル)

Contrastive learning has emerged as an essential approach for self-supervised learning in visual representation learning. The central objective of contrastive learning is to maximize the similarities between two augmented versions of an image (positive pairs), while minimizing the similarities between different images (negative pairs). Recent studies have demonstrated that harder negative samples, i.e., those that are more difficult to differentiate from the anchor sample, perform a more crucial function in contrastive learning. This paper proposes a novel feature-level method, namely sampling synthetic hard negative samples for contrastive learning (SSCL), to exploit harder negative samples more effectively. Specifically, 1) we generate more and harder negative samples by mixing negative samples, and then sample them by controlling the contrast of anchor sample with the other negative samples; 2) considering the possibility of false negative samples, we further debias the negative samples. Our proposed method improves the classification performance on different image datasets and can be readily integrated into existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI