Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions

要約

スコアオブミックストレーニング（SMT）を提案します。これは、$ \ alpha $ -skew Jensen-Shannon Divergenceと呼ばれる分岐のクラスを最小限に抑えることにより、ワンステップ生成モデルをトレーニングするための新しいフレームワークです。
その中心で、SMTは、複数のノイズレベルにわたる実際のサンプルと偽のサンプル間の混合分布のスコアを推定しています。
一貫性モデルと同様に、私たちのアプローチは、ゼロからのトレーニング（SMT）と、前提条件の拡散モデルを使用した蒸留の両方をサポートします。
実装が簡単で、最小限のハイパーパラメーターチューニングが必要であり、安定したトレーニングを保証します。
CIFAR-10およびImagenet 64×64での実験は、SMT/SMDが競争力があり、既存の方法よりも優れていることを示しています。

要約(オリジナル)

We propose Score-of-Mixture Training (SMT), a novel framework for training one-step generative models by minimizing a class of divergences called the $\alpha$-skew Jensen-Shannon divergence. At its core, SMT estimates the score of mixture distributions between real and fake samples across multiple noise levels. Similar to consistency models, our approach supports both training from scratch (SMT) and distillation using a pretrained diffusion model, which we call Score-of-Mixture Distillation (SMD). It is simple to implement, requires minimal hyperparameter tuning, and ensures stable training. Experiments on CIFAR-10 and ImageNet 64×64 show that SMT/SMD are competitive with and can even outperform existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google