Adaptive Multi-head Contrastive Learning

要約

対照学習では、異なる拡張によって生成された元の画像の 2 つのビューはポジティブ ペアとみなされ、それらの類似性が高いことが要求されます。
同様に、異なる画像の 2 つのビューはネガティブ ペアを形成し、類似性が低くなります。
通常、単一の投影ヘッドによって提供される単一の類似性尺度は、正と負のサンプルのペアを評価します。
ただし、拡張戦略が多様でサンプル内の類似性が異なるため、同じ画像からのビューが常に類似しているとは限りません。
さらに、サンプル間の類似性により、異なる画像からのビューは、同じ画像からのビューよりも類似している可能性があります。
したがって、正のペアには高い類似性を強制し、負のペアには低い類似性を適用することは不可能な場合があり、場合によっては、そのような強制はパフォーマンスに悪影響を与える可能性があります。
この課題に対処するために、複数の投影ヘッドを使用して、それぞれが異なる特徴セットを生成することを提案します。
私たちの事前トレーニング損失関数は、観察を与えられたポジティブサンプルの頭方向事後分布に対する最尤推定の解から生まれます。
この損失には、正と負のペアに対する類似性の尺度が組み込まれており、それぞれが個別の適応温度によって再重み付けされ、不正な解を防ぐために調整されています。
私たちのアプローチである適応型マルチヘッド対照学習 (AMCL) は、SimCLR、MoCo、Barlow Twins などのいくつかの一般的な対照学習手法に適用し、実験的に強化することができます。
この改善は、さまざまなバックボーンや線形プローブのエポックにわたって一貫したままであり、複数の拡張方法を使用する場合にはさらに顕著になります。

要約(オリジナル)

In contrastive learning, two views of an original image, generated by different augmentations, are considered a positive pair, and their similarity is required to be high. Similarly, two views of distinct images form a negative pair, with encouraged low similarity. Typically, a single similarity measure, provided by a lone projection head, evaluates positive and negative sample pairs. However, due to diverse augmentation strategies and varying intra-sample similarity, views from the same image may not always be similar. Additionally, owing to inter-sample similarity, views from different images may be more akin than those from the same image. Consequently, enforcing high similarity for positive pairs and low similarity for negative pairs may be unattainable, and in some cases, such enforcement could detrimentally impact performance. To address this challenge, we propose using multiple projection heads, each producing a distinct set of features. Our pre-training loss function emerges from a solution to the maximum likelihood estimation over head-wise posterior distributions of positive samples given observations. This loss incorporates the similarity measure over positive and negative pairs, each re-weighted by an individual adaptive temperature, regulated to prevent ill solutions. Our approach, Adaptive Multi-Head Contrastive Learning (AMCL), can be applied to and experimentally enhances several popular contrastive learning methods such as SimCLR, MoCo, and Barlow Twins. The improvement remains consistent across various backbones and linear probing epochs, and becomes more significant when employing multiple augmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google