Generative Modelling With Inverse Heat Dissipation

要約

拡散モデルは画像生成において大きな成功を収めていますが、それらのノイズ反転生成プロセスは、固有のマルチスケールの性質など、画像の構造を明示的に考慮していません。
拡散モデルと粗から微細へのモデリングの経験的な成功に触発されて、熱方程式を確率的に逆転させることによって画像を生成する新しい拡散のようなモデルを提案します。
画像。
拡散潜在変数モデルの変分近似として、一定の加法性ノイズを伴う前方熱方程式の解を解釈します。
私たちの新しいモデルは、画像の全体的な色や形のもつれの解消など、標準的な拡散モデルには見られない新たな質的特性を示しています。
自然画像のスペクトル分析は、拡散モデルへの接続を強調し、それらの潜在的な粗から細かい誘導バイアスを明らかにします。

要約(オリジナル)

While diffusion models have shown great success in image generation, their noise-inverting generative process does not explicitly consider the structure of images, such as their inherent multi-scale nature. Inspired by diffusion models and the empirical success of coarse-to-fine modelling, we propose a new diffusion-like model that generates images through stochastically reversing the heat equation, a PDE that locally erases fine-scale information when run over the 2D plane of the image. We interpret the solution of the forward heat equation with constant additive noise as a variational approximation in the diffusion latent variable model. Our new model shows emergent qualitative properties not seen in standard diffusion models, such as disentanglement of overall colour and shape in images. Spectral analysis on natural images highlights connections to diffusion models and reveals an implicit coarse-to-fine inductive bias in them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google