On the Importance of Calibration in Semi-supervised Learning

要約

最先端 (SOTA) の半教師あり学習 (SSL) メソッドは、一貫性の正則化と疑似ラベル付けの手法を組み合わせることで、ラベル付けされたデータとラベル付けされていないデータの組み合わせを活用することに非常に成功しています。
擬似ラベル付け中、ラベル付けされていないデータに対するモデルの予測がトレーニングに使用されるため、モデルのキャリブレーションは確認バイアスを軽減する上で重要です。
しかし、多くの SOTA メソッドはモデルのパフォーマンスに合わせて最適化されており、モデルのキャリブレーションを改善することにほとんど重点が置かれていません。
この作業では、モデルのキャリブレーションがモデルのパフォーマンスと強く相関していることを経験的に実証し、近似ベイジアン手法を介してキャリブレーションを改善することを提案します。
キャリブレーションを最適化し、CIFAR-10、CIFAR-100、および ImageNet の標準的なビジョン ベンチマーク全体でその有効性を実証する新しい SSL モデルのファミリを導入し、テスト精度を最大 15.9% 向上させます。
さらに、クラスの不均衡なデータセットやフォトニクス科学など、追加の現実的で挑戦的な問題でもそれらの有効性を示しています。

要約(オリジナル)

State-of-the-art (SOTA) semi-supervised learning (SSL) methods have been highly successful in leveraging a mix of labeled and unlabeled data by combining techniques of consistency regularization and pseudo-labeling. During pseudo-labeling, the model’s predictions on unlabeled data are used for training and thus, model calibration is important in mitigating confirmation bias. Yet, many SOTA methods are optimized for model performance, with little focus directed to improve model calibration. In this work, we empirically demonstrate that model calibration is strongly correlated with model performance and propose to improve calibration via approximate Bayesian techniques. We introduce a family of new SSL models that optimizes for calibration and demonstrate their effectiveness across standard vision benchmarks of CIFAR-10, CIFAR-100 and ImageNet, giving up to 15.9% improvement in test accuracy. Furthermore, we also demonstrate their effectiveness in additional realistic and challenging problems, such as class-imbalanced datasets and in photonics science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google