Debiased Self-Training for Semi-Supervised Learning

要約

ディープニューラルネットワークは、大規模なラベル付きデータセットを用いることで、様々なタスクにおいて目覚ましい性能を発揮する。しかし、これらのデータセットは、現実的なタスクで取得するには時間と労力がかかる。半教師付き学習では、ラベル付きデータの必要性を軽減するために、ラベルの付いていないサンプルに擬似的なラベルを繰り返し割り当てる自己学習が広く用いられている。しかし、自己学習は信頼性が低く、しばしば学習が不安定になることが知られている。我々の実験的研究により、半教師付き学習における偏りは、問題そのものと、潜在的に誤った擬似ラベルを用いた不適切な学習の両方から生じ、反復的な自己学習過程で誤差が蓄積されることがさらに明らかになった。上記の偏りを低減するために、我々はDebiased Self-Training(DST)を提案する。まず、パラメータに依存しない2つの分類器ヘッドにより、擬似ラベルの生成と利用を切り離し、直接的な誤差の蓄積を回避する。第二に、自己学習の偏りの最悪のケースを推定する。この場合、擬似ラベル関数はラベル付きサンプルでは正確であるが、ラベルなしサンプルではできるだけ多くの誤りを犯すことになる。そして、この最悪のケースを回避して擬似ラベルの品質を向上させるために、敵対的に表現を最適化する。広範な実験により、DSTは標準的な半教師付き学習ベンチマークデータセットにおいて、最新手法に対して平均6.3%、13の多様なタスクにおいてFixMatchに対して18.9%$の改善を達成することが正当化される。さらに、DSTは他の自己学習法にシームレスに適用でき、ゼロから学習する場合と事前に学習したモデルから微調整する場合の両方において、クラス間の学習と性能バランスを安定化させるのに役立つ。

要約(オリジナル)

Deep neural networks achieve remarkable performances on a wide range of tasks with the aid of large-scale labeled datasets. Yet these datasets are time-consuming and labor-exhaustive to obtain on realistic tasks. To mitigate the requirement for labeled data, self-training is widely used in semi-supervised learning by iteratively assigning pseudo labels to unlabeled samples. Despite its popularity, self-training is well-believed to be unreliable and often leads to training instability. Our experimental studies further reveal that the bias in semi-supervised learning arises from both the problem itself and the inappropriate training with potentially incorrect pseudo labels, which accumulates the error in the iterative self-training process. To reduce the above bias, we propose Debiased Self-Training (DST). First, the generation and utilization of pseudo labels are decoupled by two parameter-independent classifier heads to avoid direct error accumulation. Second, we estimate the worst case of self-training bias, where the pseudo labeling function is accurate on labeled samples, yet makes as many mistakes as possible on unlabeled samples. We then adversarially optimize the representations to improve the quality of pseudo labels by avoiding the worst case. Extensive experiments justify that DST achieves an average improvement of 6.3% against state-of-the-art methods on standard semi-supervised learning benchmark datasets and 18.9%$ against FixMatch on 13 diverse tasks. Furthermore, DST can be seamlessly adapted to other self-training methods and help stabilize their training and balance performance across classes in both cases of training from scratch and finetuning from pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL