CDMAD: Class-Distribution-Mismatch-Aware Debiasing for Class-Imbalanced Semi-Supervised Learning

要約

クラスの不均衡なセットでトレーニングされた擬似ラベルベースの半教師あり学習 (SSL) アルゴリズムは、次の 2 つの連鎖的な課題に直面しています。1) 分類器は多数派のクラスに偏る傾向がある、2) 偏った擬似ラベルがトレーニングに使用されている。
ラベルなしセットのクラス分布は不明なことが多く、ラベル付きセットのクラス分布と一致しない可能性があるため、SSL で分類器のバランスを適切に再調整することは困難です。
我々は、class-distribution-mismatch-aware debiasing (CDMAD) と呼ばれる新しいクラス不均衡 SSL アルゴリズムを提案します。
トレーニングの反復ごとに、CDMAD は最初に、トレーニング セットとは無関係であると考えられるパターンのない画像 (単色画像など) のロジットを計算することによって、各クラスに対する分類器の偏りの度合いを評価します。
CDMAD は、分類子の中立性を確保することで、基本 SSL アルゴリズムの偏った擬似ラベルを洗練します。
CDMAD は、基本 SSL アルゴリズムのトレーニング中にこれらの洗練された擬似ラベルを使用して、表現の品質を向上させます。
テスト段階では、CDMAD は同様に、テスト サンプルの偏ったクラス予測を精緻化します。
CDMAD は、クラス分布の不一致の下で偏った分類器のバランスを再調整するために、ラベルなしセットの未知のクラス分布を組み込むという課題に対処するためのポストホック ロジット調整の拡張として見ることができます。
CDMAD は、平衡誤差に対するフィッシャーの一貫性を保証します。
広範な実験により、CDMAD の有効性が検証されています。

要約(オリジナル)

Pseudo-label-based semi-supervised learning (SSL) algorithms trained on a class-imbalanced set face two cascading challenges: 1) Classifiers tend to be biased towards majority classes, and 2) Biased pseudo-labels are used for training. It is difficult to appropriately re-balance the classifiers in SSL because the class distribution of an unlabeled set is often unknown and could be mismatched with that of a labeled set. We propose a novel class-imbalanced SSL algorithm called class-distribution-mismatch-aware debiasing (CDMAD). For each iteration of training, CDMAD first assesses the classifier’s biased degree towards each class by calculating the logits on an image without any patterns (e.g., solid color image), which can be considered irrelevant to the training set. CDMAD then refines biased pseudo-labels of the base SSL algorithm by ensuring the classifier’s neutrality. CDMAD uses these refined pseudo-labels during the training of the base SSL algorithm to improve the quality of the representations. In the test phase, CDMAD similarly refines biased class predictions on test samples. CDMAD can be seen as an extension of post-hoc logit adjustment to address a challenge of incorporating the unknown class distribution of the unlabeled set for re-balancing the biased classifier under class distribution mismatch. CDMAD ensures Fisher consistency for the balanced error. Extensive experiments verify the effectiveness of CDMAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google