EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning

要約

半教師あり学習（SSL）の最近の最先端の方法は、整合性の正則化と信頼性に基づく疑似ラベル付けを組み合わせたものです。
高品質の疑似ラベルを取得するには、通常、高い信頼性のしきい値が採用されます。
ただし、深いネットワークでのsoftmaxベースの信頼スコアは、トレーニングデータから遠く離れたサンプルでは任意に高くなる可能性があるため、信頼性の高いラベルなしサンプルの疑似ラベルでも信頼性が低い可能性があります。
この作業では、疑似ラベル付けの新しい視点を提示します。モデルの信頼性に依存する代わりに、ラベル付けされていないサンプルが「配布中」である可能性が高いかどうかを測定します。
つまり、現在のトレーニングデータに近いです。
ラベルのないサンプルが「分布内」であるか「分布外」であるかを分類するために、分布外検出文献からのエネルギースコアを採用します。
トレーニングが進行し、より多くのラベルなしサンプルが分布内になり、トレーニングに寄与すると、ラベル付きデータと疑似ラベル付きデータを組み合わせて、モデルを改善するために真の分布をより適切に近似できます。
実験は、概念的には単純ですが、エネルギーベースの疑似ラベル付け方法が、不均衡なSSLベンチマークで信頼性ベースの方法を大幅に上回り、クラスバランスの取れたデータで競争力のあるパフォーマンスを達成することを示しています。
たとえば、不均衡率が50を超えると、CIFAR10-LTの絶対精度が4〜6％向上します。最新のロングテールSSL方式と組み合わせると、さらに向上します。

要約(オリジナル)

Recent state-of-the-art methods in semi-supervised learning (SSL) combine consistency regularization with confidence-based pseudo-labeling. To obtain high-quality pseudo-labels, a high confidence threshold is typically adopted. However, it has been shown that softmax-based confidence scores in deep networks can be arbitrarily high for samples far from the training data, and thus, the pseudo-labels for even high-confidence unlabeled samples may still be unreliable. In this work, we present a new perspective of pseudo-labeling: instead of relying on model confidence, we instead measure whether an unlabeled sample is likely to be ‘in-distribution’; i.e., close to the current training data. To classify whether an unlabeled sample is ‘in-distribution’ or ‘out-of-distribution’, we adopt the energy score from out-of-distribution detection literature. As training progresses and more unlabeled samples become in-distribution and contribute to training, the combined labeled and pseudo-labeled data can better approximate the true distribution to improve the model. Experiments demonstrate that our energy-based pseudo-labeling method, albeit conceptually simple, significantly outperforms confidence-based methods on imbalanced SSL benchmarks, and achieves competitive performance on class-balanced data. For example, it produces a 4-6% absolute accuracy improvement on CIFAR10-LT when the imbalance ratio is higher than 50. When combined with state-of-the-art long-tailed SSL methods, further improvements are attained.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google