GSURE-Based Diffusion Model Training with Corrupted Data

要約

拡散モデルは、データ生成と、逆問題、テキストベースの編集、分類などの下流タスクの両方で優れた結果を実証しています。
ただし、このようなモデルのトレーニングには通常、大量のクリーンな信号が必要であり、多くの場合、取得が困難または不可能です。
この研究では、破損したデータのみに基づいた生成拡散モデルの新しいトレーニング手法を提案します。
一般化スタインの不偏リスク推定量 (GSURE) に基づく損失関数を導入し、いくつかの条件下では、それが完全教師あり拡散モデルで使用されるトレーニング目標と同等であることを証明します。
私たちは、アンダーサンプリングされたデータの使用によりデータ収集コストが大幅に軽減される、顔画像および磁気共鳴画像法 (MRI) に関する技術を実証します。
私たちのアプローチは、クリーンな信号でトレーニングすることなく、完全に監視されたものと同等の生成パフォーマンスを達成します。
さらに、得られた拡散モデルをトレーニング セットに存在する劣化を超えたさまざまな下流タスクに展開し、有望な結果を示します。

要約(オリジナル)

Diffusion models have demonstrated impressive results in both data generation and downstream tasks such as inverse problems, text-based editing, classification, and more. However, training such models usually requires large amounts of clean signals which are often difficult or impossible to obtain. In this work, we propose a novel training technique for generative diffusion models based only on corrupted data. We introduce a loss function based on the Generalized Stein’s Unbiased Risk Estimator (GSURE), and prove that under some conditions, it is equivalent to the training objective used in fully supervised diffusion models. We demonstrate our technique on face images as well as Magnetic Resonance Imaging (MRI), where the use of undersampled data significantly alleviates data collection costs. Our approach achieves generative performance comparable to its fully supervised counterpart without training on any clean signals. In addition, we deploy the resulting diffusion model in various downstream tasks beyond the degradation present in the training set, showcasing promising results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google