Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

要約

標準的な拡散モデルには、画像変換 (ガウス ノイズの追加) と、この劣化を反転させる画像復元演算子が含まれます。
拡散モデルの生成動作は、画像劣化の選択に強く依存しておらず、実際、この選択を変えることで生成モデルのファミリー全体を構築できることがわかりました。
完全に決定論的な劣化 (ぼかし、マスキングなど) を使用する場合でも、拡散モデルの基礎となるトレーニングおよびテスト時の更新ルールを簡単に一般化して、生成モデルを作成できます。
これらの完全に決定論的なモデルの成功は、勾配ランジュバン ダイナミクスまたは変分推論のノイズに依存する拡散モデルに対するコミュニティの理解に疑問を投げかけ、任意のプロセスを逆転させる一般化された拡散モデルへの道を開きます。
コードは https://github.com/arpitbansal297/Cold-Diffusion-Models で入手できます。

要約(オリジナル)

Standard diffusion models involve an image transform — adding Gaussian noise — and an image restoration operator that inverts this degradation. We observe that the generative behavior of diffusion models is not strongly dependent on the choice of image degradation, and in fact an entire family of generative models can be constructed by varying this choice. Even when using completely deterministic degradations (e.g., blur, masking, and more), the training and test-time update rules that underlie diffusion models can be easily generalized to create generative models. The success of these fully deterministic models calls into question the community’s understanding of diffusion models, which relies on noise in either gradient Langevin dynamics or variational inference, and paves the way for generalized diffusion models that invert arbitrary processes. Our code is available at https://github.com/arpitbansal297/Cold-Diffusion-Models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google