Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation

要約

破損したデータから生成モデルを学習することは、特にクリーンデータへのアクセスが限られている、または高価な場合、科学分野全体で根本的でありながら持続的に挑戦的なタスクです。
スコア蒸留（DSD）\ Cite {Chen2025Denoising}は最近、騒々しい観察から直接高忠実度の生成モデルを訓練するためにスコアを活用する驚くほど効果的な戦略を導入しました。
この基盤の上に構築されて、\ TextIT {Restoration Score Distillation}（RSD）を提案します。これは、ぼやけ、不完全、または低解像度の画像など、より広範な腐敗タイプに対応するDSDの原則的な一般化です。
RSDは、最初に教師の拡散モデルを破損したデータのみで前提とし、その後、高品質の再構成を生成する単一ステップジェネレーターに蒸留することで動作します。
経験的には、RSDは、自然データセットと科学的データセットの両方で多様な修復タスク全体で教師モデルを一貫して上回ります。
さらに、標準的な拡散目標を超えて、RSDフレームワークは、アンビエントツーディー、アンビエント拡散、そのフーリエ空間バリアントなどのいくつかの腐敗認識トレーニング手法と互換性があり、拡散モデリングの最近の進歩と柔軟な統合を可能にします。
理論的には、線形レジームでは、RSDが線形測定からクリーンデータ共分散マトリックスの固有空間を回復し、それによって暗黙的な正規者として機能することを実証します。
この解釈は、スコアの蒸留をサンプリング加速手法としてだけでなく、重度に劣化したデータレジームで生成パフォーマンスを向上させるための原則的なアプローチとして再蒸留します。

要約(オリジナル)

Learning generative models from corrupted data is a fundamental yet persistently challenging task across scientific disciplines, particularly when access to clean data is limited or expensive. Denoising Score Distillation (DSD) \cite{chen2025denoising} recently introduced a novel and surprisingly effective strategy that leverages score distillation to train high-fidelity generative models directly from noisy observations. Building upon this foundation, we propose \textit{Restoration Score Distillation} (RSD), a principled generalization of DSD that accommodates a broader range of corruption types, such as blurred, incomplete, or low-resolution images. RSD operates by first pretraining a teacher diffusion model solely on corrupted data and subsequently distilling it into a single-step generator that produces high-quality reconstructions. Empirically, RSD consistently surpasses its teacher model across diverse restoration tasks on both natural and scientific datasets. Moreover, beyond standard diffusion objectives, the RSD framework is compatible with several corruption-aware training techniques such as Ambient Tweedie, Ambient Diffusion, and its Fourier-space variant, enabling flexible integration with recent advances in diffusion modeling. Theoretically, we demonstrate that in a linear regime, RSD recovers the eigenspace of the clean data covariance matrix from linear measurements, thereby serving as an implicit regularizer. This interpretation recasts score distillation not only as a sampling acceleration technique but as a principled approach to enhancing generative performance in severely degraded data regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google