MutexMatch: Semi-Supervised Learning with Mutex-Based Consistency Regularization

要約

半教師あり学習 (SSL) の中心的な問題は、ラベル付けされていないデータを効果的に活用する方法にありますが、既存の方法のほとんどは、信頼性の高いサンプルの利用に重点を置く傾向がありますが、信頼性の低いサンプルの使用法を完全に調査することはめったにありません。
この論文では、提案されたミューテックスベースの一貫性正則化、つまりMutexMatchを使用して、信頼性の低いサンプルを新しい方法で利用することを目指しています。
具体的には、信頼度の高いサンプルは、従来の真陽性分類子によって「それが何であるか」を正確に予測する必要がありますが、信頼度の低いサンプルは、より単純な目標を達成するために使用されます。
真陰性分類子。
この意味で、疑似ラベル付けエラーを軽減するだけでなく、非類似度の一貫性により、信頼性の低いラベルなしデータを最大限に活用します。
MutexMatch は、CIFAR-10、CIFAR-100、SVHN、STL-10、mini-ImageNet、Tiny-ImageNet などの複数のベンチマーク データセットで優れたパフォーマンスを実現します。
さらに重要なことに、ラベル付けされたデータの量が少ない場合、たとえば、CIFAR-10 でラベル付けされたデータが 20 個しかなくても 92.23% の精度である場合、私たちの方法はさらに優位性を示します。
コードとモデルの重みは https://github.com/NJUyued/MutexMatch4SSL で公開されています。

要約(オリジナル)

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict ‘what it is’ by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal — to predict with ease ‘what it is not’ by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google