SemPPL: Predicting pseudo-labels for better contrastive representations

要約

大量の教師なしデータと少量の教師から学習することは、コンピューター ビジョンにおける重要な未解決の問題です。
私たちは、ラベル付きデータとラベルなしデータを組み合わせて情報表現を学習する、新しい半教師あり学習手法である Semantic Positives via Pseudo-Labels (SemPPL) を提案します。
私たちの方法は、自己教師あり対比学習 (2 つのサンプルが同じ基礎データを表す (ポジティブ) か否か (ネガティブ) を区別することによって表現が形成される) を、ポジティブを選択する新しいアプローチで拡張します。
肯定的なセットを強化するために、少数の既存のグラウンドトゥルース ラベルを活用し、ラベル付けされたデータの学習された埋め込みを使用する $k$-最近傍分類器を通じて欠落しているラベルを予測します。
したがって、同じ擬似ラベルを持つデータポイントでポジティブのセットを拡張し、これらをセマンティックポジティブと呼びます。
私たちは共同で表現を学習し、ブートストラップされた擬似ラベルを予測します。
これにより強化サイクルが生まれます。
強力な初期表現により、より優れた擬似ラベル予測が可能になり、意味論的な肯定的な選択が改善され、さらに優れた表現が得られます。
SemPPL は、ResNet-$50$ を使用し、$1\%$ および $10\% でトレーニングした場合に、競合する半教師あり手法を上回り、$68.5\%$ および $76\%$ トップ $1$ の精度という新しい最先端のパフォーマンスを設定します。
それぞれ、ImageNet 上のラベルの $。
さらに、選択的カーネルを使用すると、SemPPL は以前の最先端技術を大幅に上回り、$1\%$ ラベルと $10\%$ ラベルを使用した ImageNet でそれぞれ $72.3\%$ と $78.3\%$ のトップ $1$ の精度を達成しました。
以前の作業に比べて $+7.8\%$ と $+6.2\%$ の絶対値が向上します。
SemPPL は、大規模な ResNet モデルに対して最先端のパフォーマンスを発揮するだけでなく、強力な堅牢性、分散外および転送パフォーマンスも示します。
チェックポイントと評価コードは https://github.com/deepmind/semppl でリリースされています。

要約(オリジナル)

Learning from large amounts of unsupervised data and a small amount of supervision is an important open problem in computer vision. We propose a new semi-supervised learning method, Semantic Positives via Pseudo-Labels (SemPPL), that combines labelled and unlabelled data to learn informative representations. Our method extends self-supervised contrastive learning — where representations are shaped by distinguishing whether two samples represent the same underlying datum (positives) or not (negatives) — with a novel approach to selecting positives. To enrich the set of positives, we leverage the few existing ground-truth labels to predict the missing ones through a $k$-nearest neighbours classifier by using the learned embeddings of the labelled data. We thus extend the set of positives with datapoints having the same pseudo-label and call these semantic positives. We jointly learn the representation and predict bootstrapped pseudo-labels. This creates a reinforcing cycle. Strong initial representations enable better pseudo-label predictions which then improve the selection of semantic positives and lead to even better representations. SemPPL outperforms competing semi-supervised methods setting new state-of-the-art performance of $68.5\%$ and $76\%$ top-$1$ accuracy when using a ResNet-$50$ and training on $1\%$ and $10\%$ of labels on ImageNet, respectively. Furthermore, when using selective kernels, SemPPL significantly outperforms previous state-of-the-art achieving $72.3\%$ and $78.3\%$ top-$1$ accuracy on ImageNet with $1\%$ and $10\%$ labels, respectively, which improves absolute $+7.8\%$ and $+6.2\%$ over previous work. SemPPL also exhibits state-of-the-art performance over larger ResNet models as well as strong robustness, out-of-distribution and transfer performance. We release the checkpoints and the evaluation code at https://github.com/deepmind/semppl .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google