Entropy-driven Sampling and Training Scheme for Conditional Diffusion Generation

要約

ノイズ除去拡散確率モデル（DDPM）は、ノイズ除去プロセスの各タイムステップで条件付き勾配ガイダンスを提供する独立したノイズ認識分類器を導入することにより、以前のノイズから実際のデータへの柔軟な条件付き画像生成を行うことができます。
しかし、分類器は高レベルの構造でのみ不完全に生成された画像を簡単に識別できるため、クラス情報ガイダンスの一種である勾配は早期に消失する傾向があり、条件付き生成プロセスから無条件への崩壊につながります。
処理する。
この問題に対処するために、2つの観点から2つのシンプルで効果的なアプローチを提案します。
サンプリング手順では、ガイダンス消失レベルの尺度として予測分布のエントロピーを導入し、条件付きセマンティックガイダンスを適応的に回復するためのエントロピーを意識したスケーリング方法を提案します。
トレーニング段階では、ノイズの多いデータの過信予測を軽減するために、エントロピーを意識した最適化の目的を提案します。ImageNet1000256x256では、提案されたサンプリングスキームとトレーニングされた分類器を使用して、事前トレーニングされた条件付きおよび無条件のDDPMモデルで10.89％（4.59〜4.09）を達成できます。
それぞれ43.5％（12〜6.78）のFIDの改善。

要約(オリジナル)

Denoising Diffusion Probabilistic Model (DDPM) is able to make flexible conditional image generation from prior noise to real data, by introducing an independent noise-aware classifier to provide conditional gradient guidance at each time step of denoising process. However, due to the ability of classifier to easily discriminate an incompletely generated image only with high-level structure, the gradient, which is a kind of class information guidance, tends to vanish early, leading to the collapse from conditional generation process into the unconditional process. To address this problem, we propose two simple but effective approaches from two perspectives. For sampling procedure, we introduce the entropy of predicted distribution as the measure of guidance vanishing level and propose an entropy-aware scaling method to adaptively recover the conditional semantic guidance. For training stage, we propose the entropy-aware optimization objectives to alleviate the overconfident prediction for noisy data.On ImageNet1000 256×256, with our proposed sampling scheme and trained classifier, the pretrained conditional and unconditional DDPM model can achieve 10.89% (4.59 to 4.09) and 43.5% (12 to 6.78) FID improvement respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google