Class-Aware Contrastive Semi-Supervised Learning

要約

疑似ラベルを用いた半教師付き学習(SSL)は生データの活用において大きな成功を収めている。しかし、その学習手順は、自己生成された人工ラベルに含まれるノイズに起因する確証バイアスに悩まされている。さらに、広範な分布外データが存在する実世界のアプリケーションでは、モデルの判定にノイズが多くなる。この問題を解決するために、我々はクラス対応対比型半教師付き学習（CCSSL）と名付けた一般的な手法を提案する。これは、擬似ラベルの品質を改善し、実世界設定におけるモデルの頑健性を高めるためのドロップイン・ヘルパーである。本手法では、実世界のデータを統合集合として扱うのではなく、下流のタスクにブレンドするためにクラス単位のクラスタリングで信頼性の高い分布内データを、より良い一般化のために画像単位のコントラストでノイズの多い分布外データを個別に扱う。さらに、ターゲット再重み付けを適用することで、クリーンなラベル学習を強調すると同時に、ノイズの多いラベル学習を減らすことに成功した。提案するCCSSLは、その単純さにもかかわらず、標準的なデータセットであるCIFAR100とSTL10において、最先端のSSL手法よりも大幅に性能を向上させることに成功した。実世界のデータセットSemi-iNat 2021では、FixMatchを9.80%、CoMatchを3.18%向上させることができた。コードは、https://github.com/TencentYoutuResearch/Classification-SemiCLS。

要約(オリジナル)

Pseudo-label-based semi-supervised learning (SSL) has achieved great success on raw data utilization. However, its training procedure suffers from confirmation bias due to the noise contained in self-generated artificial labels. Moreover, the model’s judgment becomes noisier in real-world applications with extensive out-of-distribution data. To address this issue, we propose a general method named Class-aware Contrastive Semi-Supervised Learning (CCSSL), which is a drop-in helper to improve the pseudo-label quality and enhance the model’s robustness in the real-world setting. Rather than treating real-world data as a union set, our method separately handles reliable in-distribution data with class-wise clustering for blending into downstream tasks and noisy out-of-distribution data with image-wise contrastive for better generalization. Furthermore, by applying target re-weighting, we successfully emphasize clean label learning and simultaneously reduce noisy label learning. Despite its simplicity, our proposed CCSSL has significant performance improvements over the state-of-the-art SSL methods on the standard datasets CIFAR100 and STL10. On the real-world dataset Semi-iNat 2021, we improve FixMatch by 9.80% and CoMatch by 3.18%. Code is available https://github.com/TencentYoutuResearch/Classification-SemiCLS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL