Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

要約

半教師あり学習における条件付き画像の生成と分類のために、デュアル擬似トレーニング (DPT) と呼ばれる 3 段階のトレーニング戦略を提案します。
まず、分類器は部分的にラベル付けされたデータでトレーニングされ、すべてのデータの疑似ラベルを予測します。
次に、条件付き生成モデルは、疑似ラベルを持つすべてのデータでトレーニングされ、ラベルを指定して疑似画像を生成します。
最後に、分類子は、ラベル付きの疑似画像によって拡張された実際のデータでトレーニングされます。
大規模な拡散モデルと、半教師あり学習者が DPT を介していくつかのラベルを使用して相互に利益を得ることを示します。
特に、ImageNet 256×256 世代のベンチマークでは、DPT は非常に少ないラベルで現実的で多様で意味的に正しい画像を生成できます。
クラスごとに 2 つ (< 0.2%) および 5 つ (つまり < 0.4%) のラベルを使用すると、DPT はそれぞれ 3.44 および 3.37 の FID を達成し、IDDPM、CDM、ADM、および LDM などの完全なラベルを使用した強力な拡散モデルよりも優れています。 . さらに、DPT は、クラスごとに 1、2、および 5 つのラベルを持つ ImageNet 分類ベンチマークで、競合する半教師付きベースラインよりも大幅に優れており、59.0 (+2.8)、69.5 (+3.0) という最先端のトップ 1 精度を達成しています。 それぞれ 73.6 (+1.2) です。

要約(オリジナル)

We propose a three-stage training strategy called dual pseudo training (DPT) for conditional image generation and classification in semi-supervised learning. First, a classifier is trained on partially labeled data and predicts pseudo labels for all data. Second, a conditional generative model is trained on all data with pseudo labels and generates pseudo images given labels. Finally, the classifier is trained on real data augmented by pseudo images with labels. We demonstrate large-scale diffusion models and semi-supervised learners benefit mutually with a few labels via DPT. In particular, on the ImageNet 256×256 generation benchmark, DPT can generate realistic, diverse, and semantically correct images with very few labels. With two (i.e., < 0.2%) and five (i.e., < 0.4%) labels per class, DPT achieves an FID of 3.44 and 3.37 respectively, outperforming strong diffusion models with full labels, such as IDDPM, CDM, ADM, and LDM. Besides, DPT outperforms competitive semi-supervised baselines substantially on ImageNet classification benchmarks with one, two, and five labels per class, achieving state-of-the-art top-1 accuracies of 59.0 (+2.8), 69.5 (+3.0), and 73.6 (+1.2) respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google