SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning

要約

半教師あり学習 (SSL) は、大量のラベルなしデータを使用してモデルをトレーニングできるため、近年人気が高まっています。
ただし、多くの SSL メソッドが直面する問題の 1 つは、モデルがラベル付きの小さなトレーニング データセットに過剰適合し、自信過剰で不正確な予測を生成するときに発生する確証バイアスです。
この問題に対処するために、複数のデータ拡張を利用する効率的な SSL メソッドである SequenceMatch を提案します。
SequenceMatch の重要な要素は、ラベルのないデータに対する中程度の拡張を含めることです。
SequenceMatch は、さまざまな拡張と、拡張されたサンプルの各ペア間の一貫性制約を利用することで、弱い拡張サンプルと強力な拡張サンプルのモデルの予測分布間の乖離を減らすのに役立ちます。
さらに、SequenceMatch は、信頼性の高い予測と信頼性の低い予測に対して 2 つの異なる一貫性制約を定義します。
その結果、SequenceMatch は ReMixMatch よりもデータ効率が高く、ReMixMatch ($\times4$) と CoMatch ($\times2$) よりも時間効率が高く、精度も高くなります。
SequenceMatch は、そのシンプルさにも関わらず、CIFAR-10/100、SVHN、STL-10 などの標準ベンチマークで従来の手法よりも常に優れたパフォーマンスを発揮します。
また、ImageNet などの大規模なデータセットでは、エラー率 38.46\% で、従来の最先端の方法を大幅に上回っています。
コードは https://github.com/beandkay/SequenceMatch で入手できます。

要約(オリジナル)

Semi-supervised learning (SSL) has become popular in recent years because it allows the training of a model using a large amount of unlabeled data. However, one issue that many SSL methods face is the confirmation bias, which occurs when the model is overfitted to the small labeled training dataset and produces overconfident, incorrect predictions. To address this issue, we propose SequenceMatch, an efficient SSL method that utilizes multiple data augmentations. The key element of SequenceMatch is the inclusion of a medium augmentation for unlabeled data. By taking advantage of different augmentations and the consistency constraints between each pair of augmented examples, SequenceMatch helps reduce the divergence between the prediction distribution of the model for weakly and strongly augmented examples. In addition, SequenceMatch defines two different consistency constraints for high and low-confidence predictions. As a result, SequenceMatch is more data-efficient than ReMixMatch, and more time-efficient than both ReMixMatch ($\times4$) and CoMatch ($\times2$) while having higher accuracy. Despite its simplicity, SequenceMatch consistently outperforms prior methods on standard benchmarks, such as CIFAR-10/100, SVHN, and STL-10. It also surpasses prior state-of-the-art methods by a large margin on large-scale datasets such as ImageNet, with a 38.46\% error rate. Code is available at https://github.com/beandkay/SequenceMatch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google