Training Diffusion Classifiers with Denoising Assistance

要約

スコアマッチングモデルと拡散モデルは、条件付き生成と無条件生成の両方の最先端の生成モデルとして登場しました。
分類器ガイド付き拡散モデルは、順拡散プロセス (つまり、データからノイズへ) から取得されたサンプルで分類器をトレーニングすることによって作成されます。
この論文では、ノイズ除去支援 (DA) 分類器を提案します。この分類器では、モデルへの同時入力としてノイズのあるサンプルとノイズ除去されたサンプルの両方を使用して拡散分類器がトレーニングされます。
ノイズ除去支援 (DA) 分類器と、ノイズのある例のみでトレーニングされる拡散分類器であるノイズのある分類器を区別します。
Cifar10 と Imagenet での実験では、DA 分類器がノイズのある分類器よりも、テスト データへの一般化という点で定量的に、また知覚的に調整された分類器勾配と生成モデリング メトリクスという点で定性的に向上していることが示されています。
最後に、拡散分類器をトレーニングするための半教師ありフレームワークについて説明します。実験では、ラベルなしのポジティブ設定も含めて、ノイズのある分類器よりも DA 分類器の一般化が向上していることを示します。

要約(オリジナル)

Score-matching and diffusion models have emerged as state-of-the-art generative models for both conditional and unconditional generation. Classifier-guided diffusion models are created by training a classifier on samples obtained from the forward-diffusion process (i.e., from data to noise). In this paper, we propose denoising-assisted (DA) classifiers wherein the diffusion classifier is trained using both noisy and denoised examples as simultaneous inputs to the model. We differentiate between denoising-assisted (DA) classifiers and noisy classifiers, which are diffusion classifiers that are only trained on noisy examples. Our experiments on Cifar10 and Imagenet show that DA-classifiers improve over noisy classifiers both quantitatively in terms of generalization to test data and qualitatively in terms of perceptually-aligned classifier-gradients and generative modeling metrics. Finally, we describe a semi-supervised framework for training diffusion classifiers and our experiments, that also include positive-unlabeled settings, demonstrate improved generalization of DA-classifiers over noisy classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google