SemPPL: Predicting pseudo-labels for better contrastive representations

要約

大量の教師なしデータと少量の教師からの学習は、コンピューター ビジョンにおける重要な未解決の問題です。
ラベル付きデータとラベルなしデータを組み合わせて有益な表現を学習する、新しい半教師付き学習方法、疑似ラベルによるセマンティック ポジティブ (SemPPL) を提案します。
私たちの方法は、2 つのサンプルが同じ基になるデータを表す (正) かどうか (負) を区別することによって表現が形作られる、自己教師あり対照学習を、正を選択するための新しいアプローチで拡張します。
ポジティブのセットを充実させるために、いくつかの既存のグラウンド トゥルース ラベルを活用して、ラベル付けされたデータの学習された埋め込みを使用して、$k$-最近傍分類器を通じて欠落しているラベルを予測します。
したがって、同じ疑似ラベルを持つデータポイントでポジティブのセットを拡張し、これらをセマンティック ポジティブと呼びます。
表現を共同で学習し、ブートストラップされた疑似ラベルを予測します。
これにより、強化サイクルが作成されます。
強力な初期表現により、疑似ラベルの予測が向上し、セマンティック ポジティブの選択が改善され、さらに優れた表現が得られます。
SemPPL は、ResNet-$50$ を使用し、$1\%$ および $10\% でトレーニングする場合、$68.5\%$ および $76\%$ の新しい最先端のパフォーマンスを設定する、競合する半教師付きメソッドよりも優れています。
それぞれ ImageNet 上のラベルの $。
さらに、選択的カーネルを使用する場合、SemPPL は以前の最先端技術を大幅に上回り、ImageNet でそれぞれ $1\%$ および $10\%$ ラベルで $72.3\%$ および $78.3\%$ のトップ $1$ 精度を達成しています。
以前の作業よりも $+7.8\%$ と $+6.2\%$ の絶対値が向上しています。
SemPPL は、大規模な ResNet モデルで最先端のパフォーマンスを発揮するだけでなく、強力な堅牢性、分散外および転送パフォーマンスも発揮します。

要約(オリジナル)

Learning from large amounts of unsupervised data and a small amount of supervision is an important open problem in computer vision. We propose a new semi-supervised learning method, Semantic Positives via Pseudo-Labels (SemPPL), that combines labelled and unlabelled data to learn informative representations. Our method extends self-supervised contrastive learning — where representations are shaped by distinguishing whether two samples represent the same underlying datum (positives) or not (negatives) — with a novel approach to selecting positives. To enrich the set of positives, we leverage the few existing ground-truth labels to predict the missing ones through a $k$-nearest neighbours classifier by using the learned embeddings of the labelled data. We thus extend the set of positives with datapoints having the same pseudo-label and call these semantic positives. We jointly learn the representation and predict bootstrapped pseudo-labels. This creates a reinforcing cycle. Strong initial representations enable better pseudo-label predictions which then improve the selection of semantic positives and lead to even better representations. SemPPL outperforms competing semi-supervised methods setting new state-of-the-art performance of $68.5\%$ and $76\%$ top-$1$ accuracy when using a ResNet-$50$ and training on $1\%$ and $10\%$ of labels on ImageNet, respectively. Furthermore, when using selective kernels, SemPPL significantly outperforms previous state-of-the-art achieving $72.3\%$ and $78.3\%$ top-$1$ accuracy on ImageNet with $1\%$ and $10\%$ labels, respectively, which improves absolute $+7.8\%$ and $+6.2\%$ over previous work. SemPPL also exhibits state-of-the-art performance over larger ResNet models as well as strong robustness, out-of-distribution and transfer performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google