Score-based Conditional Generation with Fewer Labeled Data by Self-calibrating Classifier Guidance

要約

スコアベースの生成モデル (SGM) は、優れた画像生成品質を実現するディープ生成モデルの人気のあるファミリーです。
初期の研究では、無条件 SGM を訓練された分類子のガイダンスと組み合わせることで、SGM を拡張してクラス条件付き生成に取り組みました。
それにもかかわらず、このような分類器ガイド付き SGM は、特にラベル付けされたデータが少ない場合に、常に正確な条件付き生成を達成できるわけではありません。
私たちは、この問題の根源は、基礎となる無条件分布と調整せずに分類器が過剰適合する傾向にあると主張します。
分類子が無条件分布を尊重できるようにするために、分類子自体を正規化させることで分類子ガイド付き SGM を改善することを提案します。
私たちが提案する方法の重要なアイデアは、エネルギーベースのモデルの原理を使用して、分類器を無条件 SGM の別のビューに変換することです。
無条件 SGM の既存の損失を利用して、分類器の内部無条件スコアを調整することで正則化を達成できます。
正則化スキームは、ラベル付きデータだけでなく、ラベルなしデータにも適用して、分類器をさらに改善できます。
さまざまな割合のラベル付きデータが少ない場合、提案されたアプローチにより条件付き生成の品質が大幅に向上することが実証結果からわかります。
この機能強化により、限られたラベル付きデータを使用した生成モデリングに対する、提案された自己校正手法の可能性が確認されています。

要約(オリジナル)

Score-based generative models (SGMs) are a popular family of deep generative models that achieve leading image generation quality. Early studies extend SGMs to tackle class-conditional generation by coupling an unconditional SGM with the guidance of a trained classifier. Nevertheless, such classifier-guided SGMs do not always achieve accurate conditional generation, especially when trained with fewer labeled data. We argue that the problem is rooted in the classifier’s tendency to overfit without coordinating with the underlying unconditional distribution. To make the classifier respect the unconditional distribution, we propose improving classifier-guided SGMs by letting the classifier regularize itself. The key idea of our proposed method is to use principles from energy-based models to convert the classifier into another view of the unconditional SGM. Existing losses for unconditional SGMs can then be leveraged to achieve regularization by calibrating the classifier’s internal unconditional scores. The regularization scheme can be applied to not only the labeled data but also unlabeled ones to further improve the classifier. Across various percentages of fewer labeled data, empirical results show that the proposed approach significantly enhances conditional generation quality. The enhancements confirm the potential of the proposed self-calibration technique for generative modeling with limited labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google