Feature Space Renormalization for Semi-supervised Learning

要約

半教師あり学習 (SSL) は、ラベルなしデータを活用して大規模なラベル付きデータセットへのモデルの依存を軽減する強力な方法であることが証明されています。
最近のアプローチに共通するフレームワークは、一貫性正則化を使用して大量のラベルなしデータでモデルをトレーニングし、入力摂動に対してモデルの予測が不変になるように制約することです。
ただし、既存の SSL フレームワークには、一貫性の正則化方法にまだ改善の余地があります。
既存のフレームワークのようにラベル空間でカテゴリ予測を正規化する代わりに、この論文では SSL の特徴空間繰り込み (FSR) メカニズムを提案します。
まず、より良い識別特徴を学習するために、一般的に使用される一貫性正則化メカニズムの代わりとなる特徴空間繰り込みメカニズムを提案します。
このメカニズムを適用するには、まず基本モデルと経験モデルを構築し、次に経験モデルのガイダンスに従って基本モデルの特徴学習を繰り込むメカニズムを導入します。
次に、提案されたメカニズムと擬似ラベルを組み合わせて、FreMatch という名前の新しい効果的な SSL モデルを取得します。
実験結果は、私たちの方法がさまざまな標準 SSL ベンチマーク データセットでより良いパフォーマンスを達成できること、および提案された特徴空間繰り込みメカニズムが他の SSL アプローチのパフォーマンスも向上させることができることを示しています。

要約(オリジナル)

Semi-supervised learning (SSL) has been proven to be a powerful method for leveraging unlabelled data to alleviate models’ dependence on large labelled datasets. The common framework among recent approaches is to train the model on a large amount of unlabelled data with consistency regularization to constrain the model predictions to be invariant to input perturbation. However, the existing SSL frameworks still have room for improvement in the consistency regularization method. Instead of regularizing category predictions in the label space as in existing frameworks, this paper proposes a feature space renormalization (FSR) mechanism for SSL. First, we propose a feature space renormalization mechanism to substitute for the commonly used consistency regularization mechanism to learn better discriminative features. To apply this mechanism, we start by building a basic model and an empirical model and then introduce our mechanism to renormalize the feature learning of the basic model with the guidance of the empirical model. Second, we combine the proposed mechanism with pseudo-labelling to obtain a novel effective SSL model named FreMatch. The experimental results show that our method can achieve better performance on a variety of standard SSL benchmark datasets, and the proposed feature space renormalization mechanism can also enhance the performance of other SSL approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google