Hard Negative Sampling Strategies for Contrastive Representation Learning

要約

対照学習における課題の1つは、ラベル情報がない場合に適切な\textit{ハードネガティブ}の例を選択することです。
特徴の類似性に基づくランダムサンプリングまたは重要度サンプリングの方法は、多くの場合、最適ではないパフォーマンスにつながります。
この作業では、アンカーの類似性、モデルの不確実性、および代表性を考慮したハードネガティブサンプリング戦略であるUnReMixを紹介します。
いくつかのベンチマークでの実験結果は、UnReMixがネガティブなサンプル選択を改善し、その後、最先端の対照学習法と比較した場合にダウンストリームのパフォーマンスを改善することを示しています。

要約(オリジナル)

One of the challenges in contrastive learning is the selection of appropriate \textit{hard negative} examples, in the absence of label information. Random sampling or importance sampling methods based on feature similarity often lead to sub-optimal performance. In this work, we introduce UnReMix, a hard negative sampling strategy that takes into account anchor similarity, model uncertainty and representativeness. Experimental results on several benchmarks show that UnReMix improves negative sample selection, and subsequently downstream performance when compared to state-of-the-art contrastive learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google