FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning

要約

準教師あり学習 (SSL) は、疑似ラベル付けと一貫性の正則化に基づくさまざまな方法によってもたらされる印象的なパフォーマンスにより、大きな成功を収めています。
ただし、既存の方法では、事前に定義された/固定のしきい値またはアドホックなしきい値調整スキームを使用するため、ラベルのないデータをより効果的に利用できず、パフォーマンスが低下し、収束が遅くなる可能性があると主張します。
最初に、動機付けとなる例を分析して、望ましいしきい値とモデルの学習状態との関係に関する直感を得ます。
分析に基づいて、モデルの学習ステータスに応じて自己適応的に信頼しきい値を調整する FreeMatch を提案します。
さらに、トレーニングの初期段階でモデルが多様な予測を行えるように、自己適応型のクラスの公平性正則化ペナルティを導入します。
広範な実験により、特にラベル付けされたデータが非常にまれな場合に、FreeMatch の優位性が示されています。
FreeMatch は、クラスあたり 1 ラベルの CIFAR-10、クラスあたり 4 ラベルの STL-10、および 100 ラベルの ImageNet で、最新の最先端メソッド FlexMatch よりも 5.78%、13.59%、および 1.28% のエラー率削減を達成します。
クラスごとに、それぞれ。
さらに、FreeMatch は不均衡な SSL のパフォーマンスを向上させることもできます。
コードは https://github.com/microsoft/Semi-supervised-learning にあります。

要約(オリジナル)

Semi-supervised Learning (SSL) has witnessed great success owing to the impressive performances brought by various methods based on pseudo labeling and consistency regularization. However, we argue that existing methods might fail to utilize the unlabeled data more effectively since they either use a pre-defined / fixed threshold or an ad-hoc threshold adjusting scheme, resulting in inferior performance and slow convergence. We first analyze a motivating example to obtain intuitions on the relationship between the desirable threshold and model’s learning status. Based on the analysis, we hence propose FreeMatch to adjust the confidence threshold in a self-adaptive manner according to the model’s learning status. We further introduce a self-adaptive class fairness regularization penalty to encourage the model for diverse predictions during the early training stage. Extensive experiments indicate the superiority of FreeMatch especially when the labeled data are extremely rare. FreeMatch achieves 5.78%, 13.59%, and 1.28% error rate reduction over the latest state-of-the-art method FlexMatch on CIFAR-10 with 1 label per class, STL-10 with 4 labels per class, and ImageNet with 100 labels per class, respectively. Moreover, FreeMatch can also boost the performance of imbalanced SSL. The codes can be found at https://github.com/microsoft/Semi-supervised-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google