NorMatch: Matching Normalizing Flows with Discriminative Classifiers for Semi-Supervised Learning

要約

半教師あり学習 (SSL) は、小さなラベル付きセットと大量のラベルなしデータを使用してモデルを学習することを目的としています。
ラベル付けされていないデータをより有効に活用するために、最新の SSL メソッドでは、単一の識別分類子から予測された疑似ラベルを使用しています。
ただし、生成された擬似ラベルは、モデルのパフォーマンスに大きな影響を与える固有の確認バイアスとノイズに必然的にリンクされます。
この作業では、NorMatch という名前の SSL の新しいフレームワークを紹介します。
まず、補助分類器としてフローの正規化に基づく新しい不確実性推定スキームを導入し、識別分類器のブーストをもたらす非常に確実な疑似ラベルを適用します。
次に、しきい値のないサンプルの重み付け戦略を導入して、信頼性の高い疑似ラベルと低い疑似ラベルの両方をより適切に活用します。
さらに、正規化フローを使用して、教師なしの方法で、ラベルのないデータの分布をモデル化します。
このモデリングの仮定は、ラベル付けされていないデータを介して生成的分類器のパフォーマンスをさらに向上させることができるため、より優れた識別的分類器のトレーニングに暗黙のうちに貢献できます。
数値的および視覚的な結果を通じて、NorMatch がいくつかのデータセットで最先端のパフォーマンスを達成することを実証します。

要約(オリジナル)

Semi-Supervised Learning (SSL) aims to learn a model using a tiny labeled set and massive amounts of unlabeled data. To better exploit the unlabeled data the latest SSL methods use pseudo-labels predicted from a single discriminative classifier. However, the generated pseudo-labels are inevitably linked to inherent confirmation bias and noise which greatly affects the model performance. In this work we introduce a new framework for SSL named NorMatch. Firstly, we introduce a new uncertainty estimation scheme based on normalizing flows, as an auxiliary classifier, to enforce highly certain pseudo-labels yielding a boost of the discriminative classifiers. Secondly, we introduce a threshold-free sample weighting strategy to exploit better both high and low confidence pseudo-labels. Furthermore, we utilize normalizing flows to model, in an unsupervised fashion, the distribution of unlabeled data. This modelling assumption can further improve the performance of generative classifiers via unlabeled data, and thus, implicitly contributing to training a better discriminative classifier. We demonstrate, through numerical and visual results, that NorMatch achieves state-of-the-art performance on several datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google