A Unified Contrastive Loss for Self-Training

要約

自己トレーニング方法は、特にラベル付きデータが不足している場合に、半教師あり学習で豊富なラベルなしデータを活用するのに効果的であることが証明されています。
これらのアプローチの多くはクロスエントロピー損失関数 (CE) に依存していますが、最近の進歩により、教師付きコントラスト損失関数 (SupCon) がより効果的であることが示されています。
さらに、教師なし対比学習アプローチは、教師なし設定で高品質のデータ表現をキャプチャすることも示されています。
半教師あり設定でこれらの利点を活用するために、CE 損失のすべてのインスタンスを独自の対照的な損失に置き換える、自己トレーニング方法を強化するための一般的なフレームワークを提案します。
クラス単位のトレーニング可能なパラメータのセットであるクラス プロトタイプを使用することにより、CE 設定の確率分布を復元し、それと理論的に等価であることを示します。
私たちのフレームワークを一般的な自己トレーニング方法に適用すると、限られた数のラベル付きデータを含む 3 つの異なるデータセットにわたってパフォーマンスが大幅に向上します。
さらに、収束速度、転送能力、ハイパーパラメータの安定性がさらに向上することを実証します。
コードは \url{https://github.com/AurelienGauffre/semisupcon/} で入手できます。

要約(オリジナル)

Self-training methods have proven to be effective in exploiting abundant unlabeled data in semi-supervised learning, particularly when labeled data is scarce. While many of these approaches rely on a cross-entropy loss function (CE), recent advances have shown that the supervised contrastive loss function (SupCon) can be more effective. Additionally, unsupervised contrastive learning approaches have also been shown to capture high quality data representations in the unsupervised setting. To benefit from these advantages in a semi-supervised setting, we propose a general framework to enhance self-training methods, which replaces all instances of CE losses with a unique contrastive loss. By using class prototypes, which are a set of class-wise trainable parameters, we recover the probability distributions of the CE setting and show a theoretical equivalence with it. Our framework, when applied to popular self-training methods, results in significant performance improvements across three different datasets with a limited number of labeled data. Additionally, we demonstrate further improvements in convergence speed, transfer ability, and hyperparameter stability. The code is available at \url{https://github.com/AurelienGauffre/semisupcon/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google