Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation

要約

拡散モデルは、多様な自然分布全体で高解像度の現実的な画像を生成することに顕著な成功を収めています。
ただし、パフォーマンスは高品質のトレーニングデータに大きく依存しているため、破損したサンプルから意味のある分布を学ぶことが困難です。
この制限は、クリーンデータが取得するのが不足または費用がかかる科学的領域での適用性を制限します。
この作業では、低品質のデータから高品質の生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチである、除去スコア蒸留（DSD）を導入します。
DSDは、騒々しい、破損したサンプルのみで拡散モデルを最初に前処理し、それを洗練されたクリーンな出力を生成できるワンステップジェネレーターに蒸留します。
スコアの蒸留は伝統的に拡散モデルを加速する方法と見なされていますが、特に劣化した教師モデルから始まる場合、サンプルの品質を大幅に向上させることもできることを示しています。
さまざまなノイズレベルとデータセットにわたって、DSDは生成パフォーマンスを一貫して改善します。図1の経験的証拠を要約します。さらに、線形モデル設定では、DSDがクリーンデータ分布共変動マトリックスの固有空間を識別し、結果を正規化することを示す理論的洞察を提供します。
このパースペクティブは、効率のためのツールだけでなく、特に低品質のデータ設定で生成モデルを改善するためのメカニズムとしてスコア蒸留を再構成します。

要約(オリジナル)

Diffusion models have achieved remarkable success in generating high-resolution, realistic images across diverse natural distributions. However, their performance heavily relies on high-quality training data, making it challenging to learn meaningful distributions from corrupted samples. This limitation restricts their applicability in scientific domains where clean data is scarce or costly to obtain. In this work, we introduce denoising score distillation (DSD), a surprisingly effective and novel approach for training high-quality generative models from low-quality data. DSD first pretrains a diffusion model exclusively on noisy, corrupted samples and then distills it into a one-step generator capable of producing refined, clean outputs. While score distillation is traditionally viewed as a method to accelerate diffusion models, we show that it can also significantly enhance sample quality, particularly when starting from a degraded teacher model. Across varying noise levels and datasets, DSD consistently improves generative performancewe summarize our empirical evidence in Fig. 1. Furthermore, we provide theoretical insights showing that, in a linear model setting, DSD identifies the eigenspace of the clean data distributions covariance matrix, implicitly regularizing the generator. This perspective reframes score distillation as not only a tool for efficiency but also a mechanism for improving generative models, particularly in low-quality data settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google