Rethinking Positive Sampling for Contrastive Learning with Kernel

要約

データ拡張は、教師なし対照学習（CL）の重要なコンポーネントです。
これは、ポジティブサンプルがどのように定義されるか、そして最終的には表現の品質を決定します。
ImageNetなどの標準的な視覚データセットでは効率的な拡張が見出されていますが、医用画像などの他のアプリケーションや、習得が容易で無関係な画像機能を備えたデータセットでは、依然として未解決の問題です。
この作業では、デカップリングされた均一性と呼ばれる新しい損失とともに、カーネル理論を使用して正のサンプルを定義する新しい方法を提案します。
生成モデルから学習した、または補助属性として与えられた事前情報を対照学習に統合して、データ拡張への依存を減らすことを提案します。
対照学習と条件付き平均埋め込み理論の間に関係を描き、下流の分類損失の厳密な限界を導き出します。
教師なしの設定では、CLがVAEやGANなどの生成モデルの恩恵を受けて、データ拡張への依存度が低くなることを経験的に示しています。
CIFAR10、CIFAR100、STL10、ImageNet100などの視覚データセットと脳MRIデータセットでフレームワークを検証します。
弱く監視された設定で、私達は私達の公式が最先端の結果を提供することを示します。

要約(オリジナル)

Data augmentation is a crucial component in unsupervised contrastive learning (CL). It determines how positive samples are defined and, ultimately, the quality of the representation. While efficient augmentations have been found for standard vision datasets, such as ImageNet, it is still an open problem in other applications, such as medical imaging, or in datasets with easy-to-learn but irrelevant imaging features. In this work, we propose a new way to define positive samples using kernel theory along with a novel loss called decoupled uniformity. We propose to integrate prior information, learnt from generative models or given as auxiliary attributes, into contrastive learning, to make it less dependent on data augmentation. We draw a connection between contrastive learning and the conditional mean embedding theory to derive tight bounds on the downstream classification loss. In an unsupervised setting, we empirically demonstrate that CL benefits from generative models, such as VAE and GAN, to less rely on data augmentations. We validate our framework on vision datasets including CIFAR10, CIFAR100, STL10 and ImageNet100 and a brain MRI dataset. In the weakly supervised setting, we demonstrate that our formulation provides state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google