ContraCluster: Learning to Classify without Labels by Contrastive Self-Supervision and Prototype-Based Semi-Supervision

要約

タイトル：ContraCluster：対比的自己教師あり学習とプロトタイプベースの半教師あり学習によるラベルなし分類の学習
要約：
– 画像の表現学習の最近の進歩は、ラベルなしの画像分類の問題に取り組むために機会を提供しています。
– 本研究では、クラスタリングと対比的自己教師あり学習を組み合わせたラベルなし画像分類の手法「ContraCluster」を提案します。
– ContraClusterは3つの段階からなります：（1）対比的自己教師あり事前学習、（2）対比的プロトタイプサンプリング、（3）プロトタイプベースの半教師あり微調整。
– CPSは、対比学習で学習された埋め込み空間で高精度でカテゴリの概念的な画像を選択することができます。
– サンプルされたプロトタイプは、ノイズの含まれるラベル付きデータとして使用され、半教師あり微調整(PB-SFT)を実行して、小さなプロトタイプと大規模なラベルなしデータを利用して精度をさらに向上させます。
– 実証的に、ContraClusterは、CIFAR-10、STL-10、およびImageNet-10などの標準的なベンチマークデータセットに対して新しい最先端の結果を達成します。
– 例えば、CIFAR-10において、ContraClusterはDAC（52.2％）、IIC（61.7％）、SCAN（87.6％）を大幅に上回る90.8％の精度を達成します。
– ラベルなしの状態でも、ContraClusterは最高の教師あり対照物の95.8％に匹敵する90.8％の精度を達成することができます。

要約(オリジナル)

The recent advances in representation learning inspire us to take on the challenging problem of unsupervised image classification tasks in a principled way. We propose ContraCluster, an unsupervised image classification method that combines clustering with the power of contrastive self-supervised learning. ContraCluster consists of three stages: (1) contrastive self-supervised pre-training (CPT), (2) contrastive prototype sampling (CPS), and (3) prototype-based semi-supervised fine-tuning (PB-SFT). CPS can select highly accurate, categorically prototypical images in an embedding space learned by contrastive learning. We use sampled prototypes as noisy labeled data to perform semi-supervised fine-tuning (PB-SFT), leveraging small prototypes and large unlabeled data to further enhance the accuracy. We demonstrate empirically that ContraCluster achieves new state-of-the-art results for standard benchmark datasets including CIFAR-10, STL-10, and ImageNet-10. For example, ContraCluster achieves about 90.8% accuracy for CIFAR-10, which outperforms DAC (52.2%), IIC (61.7%), and SCAN (87.6%) by a large margin. Without any labels, ContraCluster can achieve a 90.8% accuracy that is comparable to 95.8% by the best supervised counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI