Debiasing, calibrating, and improving Semi-supervised Learning performance via simple Ensemble Projector

要約

半教師あり学習 (SSL) に関する最近の研究は大きな成功を収めています。
有望なパフォーマンスにもかかわらず、現在の最先端の手法は、より多くのネットワーク コンポーネントや追加のトレーニング手順を導入するというコストを犠牲にして、設計がますます複雑になる傾向があります。
この論文では、Ensemble Projectors Aided for Semi-supervised Learning (EPASS) という名前の単純な手法を提案します。この手法は、既存の対照的共同トレーニングの半教師あり学習フレームワークのパフォーマンスを向上させるために、学習された埋め込みを改善することに主に焦点を当てています。
1 台のプロジェクターから学習したエンベディングをメモリ バンクに保存して対比学習で使用する標準的な方法とは異なり、EPASS は複数のプロジェクターからのアンサンブル エンベディングをメモリ バンクに保存します。
その結果、EPASS は一般化を改善し、機能表現を強化し、パフォーマンスを向上させます。
たとえば、EPASS は、SimMatch にラベル付きデータの 100k/1\%/10\% のみを使用しながら、半教師あり学習の強力なベースラインを 39.47\%/31.39\%/24.70\% のトップ 1 エラー率で改善し、次のことを達成します。
ImageNet データセット上の CoMatch のトップ 1 エラー率は 40.24\%/32.64\%/25.90\% です。
これらの改善は、方法、ネットワーク アーキテクチャ、およびデータセット全体で一貫しており、提案された方法の一般的な有効性が証明されています。
コードは https://github.com/beandkay/EPASS で入手できます。

要約(オリジナル)

Recent studies on semi-supervised learning (SSL) have achieved great success. Despite their promising performance, current state-of-the-art methods tend toward increasingly complex designs at the cost of introducing more network components and additional training procedures. In this paper, we propose a simple method named Ensemble Projectors Aided for Semi-supervised Learning (EPASS), which focuses mainly on improving the learned embeddings to boost the performance of the existing contrastive joint-training semi-supervised learning frameworks. Unlike standard methods, where the learned embeddings from one projector are stored in memory banks to be used with contrastive learning, EPASS stores the ensemble embeddings from multiple projectors in memory banks. As a result, EPASS improves generalization, strengthens feature representation, and boosts performance. For instance, EPASS improves strong baselines for semi-supervised learning by 39.47\%/31.39\%/24.70\% top-1 error rate, while using only 100k/1\%/10\% of labeled data for SimMatch, and achieves 40.24\%/32.64\%/25.90\% top-1 error rate for CoMatch on the ImageNet dataset. These improvements are consistent across methods, network architectures, and datasets, proving the general effectiveness of the proposed methods. Code is available at https://github.com/beandkay/EPASS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google