Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

要約

半教師ありの生成タスクと分類タスクをさらに進歩させるための取り組みとして、強力な半教師あり学習器と拡散モデルに基づいて構築されたデュアル擬似トレーニング (DPT) と呼ばれる、シンプルかつ効果的なトレーニング戦略を提案します。
DPT は 3 つの段階で動作します。部分的にラベル付けされたデータに対して分類器をトレーニングして、疑似ラベルを予測します。
これらの疑似ラベルを使用して条件付き生成モデルをトレーニングし、疑似画像を生成します。
そして、実際の画像と擬似画像を組み合わせて分類器を再トレーニングします。
経験的に、DPT はさまざまな設定にわたって、半教師あり生成と分類の SOTA パフォーマンスを一貫して達成します。
特に、クラスごとに 1 つまたは 2 つのラベルを使用すると、DPT は ImageNet 256×256 上で 3.08 または 2.52 の Fr\’echet Inception Distance (FID) スコアを達成し、IDDPM、CDM、ADM、LDM などの完全なラベルを備えた強力な拡散モデルを上回ります。
。
さらに、DPT は ImageNet 分類タスクにおいて競合する半教師ありベースラインを大幅に上回り、クラスあたり 1、2、または 5 つのラベルで 59.0 (+2.8)、69.5 (+3.0)、および 74.4 (+2.0) というトップ 1 の精度を達成します。
それぞれ。
特に、我々の結果は、拡散により少数のラベル（たとえば、<0.1%）のみで現実的な画像を生成できること、および生成拡張が半教師付き分類において依然として実行可能であることを示しています。

要約(オリジナル)

In an effort to further advance semi-supervised generative and classification tasks, we propose a simple yet effective training strategy called dual pseudo training (DPT), built upon strong semi-supervised learners and diffusion models. DPT operates in three stages: training a classifier on partially labeled data to predict pseudo-labels; training a conditional generative model using these pseudo-labels to generate pseudo images; and retraining the classifier with a mix of real and pseudo images. Empirically, DPT consistently achieves SOTA performance of semi-supervised generation and classification across various settings. In particular, with one or two labels per class, DPT achieves a Fr\’echet Inception Distance (FID) score of 3.08 or 2.52 on ImageNet 256×256, surpassing strong diffusion models with full labels, such as IDDPM, CDM, ADM, and LDM. Besides, DPT outperforms competitive semi-supervised baselines substantially on ImageNet classification tasks, achieving top-1 accuracies of 59.0 (+2.8), 69.5 (+3.0), and 74.4 (+2.0) with one, two, or five labels per class, respectively. Notably, our results demonstrate that diffusion can generate realistic images with only a few labels (e.g., <0.1%) and generative augmentation remains viable for semi-supervised classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google