Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning

要約

我々は、ラベル付きデータが不均衡なクラス分布を示し、ラベルなしデータが未知の分布に従う、ロングテール半教師付き学習(LTSSL)の困難な問題に取り組む。バランスの取れたSSLとは異なり、生成される擬似ラベルは先頭クラスに偏り、学習バイアスを強める。このような現象は、ラベル付きデータセットとラベルなしデータセットのクラス分布が不一致の場合、より多くのラベルなしデータがヘッドクラスとして誤ラベル付けされるため、さらに増幅される。この問題を解決するために、我々はCPE(ComPlementary Experts)と名付けた新しい手法を提案する。具体的には、様々なクラス分布をモデル化するために複数のエキスパートを訓練し、各エキスパートが一つのクラス分布の中で高品質な擬似ラベルを生成する。また、CPEにクラスワイズ・バッチ正規化を導入し、先頭クラスと非先頭クラス間の特徴分布の不一致による性能劣化を回避する。CPEはCIFAR-10-LT、CIFAR-100-LT、STL-10-LTデータセットベンチマークにおいて、最先端の性能を達成した。例えば、CIFAR-10-LTにおいて、CPEはベースラインと比較してテスト精度を2.22%以上向上させました。コードはhttps://github.com/machengcheng2016/CPE-LTSSL。

要約(オリジナル)

We address the challenging problem of Long-Tailed Semi-Supervised Learning (LTSSL) where labeled data exhibit imbalanced class distribution and unlabeled data follow an unknown distribution. Unlike in balanced SSL, the generated pseudo-labels are skewed towards head classes, intensifying the training bias. Such a phenomenon is even amplified as more unlabeled data will be mislabeled as head classes when the class distribution of labeled and unlabeled datasets are mismatched. To solve this problem, we propose a novel method named ComPlementary Experts (CPE). Specifically, we train multiple experts to model various class distributions, each of them yielding high-quality pseudo-labels within one form of class distribution. Besides, we introduce Classwise Batch Normalization for CPE to avoid performance degradation caused by feature distribution mismatch between head and non-head classes. CPE achieves state-of-the-art performances on CIFAR-10-LT, CIFAR-100-LT, and STL-10-LT dataset benchmarks. For instance, on CIFAR-10-LT, CPE improves test accuracy by over 2.22% compared to baselines. Code is available at https://github.com/machengcheng2016/CPE-LTSSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL