Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning

要約

半教師あり学習（SSL）は、限られたラベルで強力なモデルを構築するための効果的な手法であることが長い間証明されてきました。
既存の文献では、摂動されたサンプルに元のサンプルと同様の予測を強制する整合性正則化ベースの方法が、それらの有望な精度のために多くの注目を集めています。
ただし、ラベルが極端に制限されると、このようなメソッドのパフォーマンスが大幅に低下することがわかります。たとえば、カテゴリごとに2つまたは3つのラベルがあります。
私たちの経験的研究では、主な問題はデータ拡張の手順における意味情報のドリフトにあることがわかりました。
十分な監督が提供されれば、問題は軽減されます。
ただし、利用できるガイダンスがほとんどない場合、誤った正則化はネットワークを誤解させ、アルゴリズムのパフォーマンスを損なう可能性があります。
この問題に取り組むために、（1）より信頼性の高い正のサンプルペアを構築するための補間ベースの方法を提案します。
（2）マージン決定境界を拡大することによってネットワークの識別能力を向上させるために、学習したネットワークの埋め込みがサンプル間で線形に変化するようにガイドする新しい対照損失を設計します。
破壊的な正則化が導入されていないため、提案されたアルゴリズムのパフォーマンスが大幅に向上します。
具体的には、提案されたアルゴリズムは、CIFAR-10データセットの各クラスで2つのラベルしか使用できない場合に、88.73％の分類精度を達成することにより、5.3％で2番目に優れたアルゴリズム（Comatch）を上回ります。
さらに、提案された戦略で既存の最先端のアルゴリズムのパフォーマンスを大幅に改善することにより、提案された方法の一般性をさらに証明します。

要約(オリジナル)

Semi-supervised learning (SSL) has long been proved to be an effective technique to construct powerful models with limited labels. In the existing literature, consistency regularization-based methods, which force the perturbed samples to have similar predictions with the original ones have attracted much attention for their promising accuracy. However, we observe that, the performance of such methods decreases drastically when the labels get extremely limited, e.g., 2 or 3 labels for each category. Our empirical study finds that the main problem lies with the drifting of semantic information in the procedure of data augmentation. The problem can be alleviated when enough supervision is provided. However, when little guidance is available, the incorrect regularization would mislead the network and undermine the performance of the algorithm. To tackle the problem, we (1) propose an interpolation-based method to construct more reliable positive sample pairs; (2) design a novel contrastive loss to guide the embedding of the learned network to change linearly between samples so as to improve the discriminative capability of the network by enlarging the margin decision boundaries. Since no destructive regularization is introduced, the performance of our proposed algorithm is largely improved. Specifically, the proposed algorithm outperforms the second best algorithm (Comatch) with 5.3% by achieving 88.73% classification accuracy when only two labels are available for each class on the CIFAR-10 dataset. Moreover, we further prove the generality of the proposed method by improving the performance of the existing state-of-the-art algorithms considerably with our proposed strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google