A Mixture-Based Framework for Guiding Diffusion Models

要約

拡散モデルの除去により、ベイジアンの逆の問題の分野で大きな進歩が促進されました。
最近のアプローチでは、事前に訓練された拡散モデルを事前に使用して、このような問題の広範な問題を解決し、推論時間計算のみを活用して、同じデータセットでタスク固有のモデルを再操作する必要性を排除します。
ベイジアンの逆問題の後方に近似するために、拡散モデルは一連の中間後部分布からサンプルし、それぞれが難治性の尤度関数を備えています。
この作業は、これらの中間分布の新しい混合近似を提案しています。
これらの混合物の直接勾配ベースのサンプリングは、扱いにくい用語のために実行不可能であるため、GIBBSサンプリングに基づいた実用的な方法を提案します。
画像の逆問題に関する広範な実験を通じて、ピクセルと潜在スペースの両方の拡散前と、オーディオ拡散モデルを使用したソース分離でアプローチを検証します。
このコードは、https：//www.github.com/badr-moufad/mgdmで入手できます

要約(オリジナル)

Denoising diffusion models have driven significant progress in the field of Bayesian inverse problems. Recent approaches use pre-trained diffusion models as priors to solve a wide range of such problems, only leveraging inference-time compute and thereby eliminating the need to retrain task-specific models on the same dataset. To approximate the posterior of a Bayesian inverse problem, a diffusion model samples from a sequence of intermediate posterior distributions, each with an intractable likelihood function. This work proposes a novel mixture approximation of these intermediate distributions. Since direct gradient-based sampling of these mixtures is infeasible due to intractable terms, we propose a practical method based on Gibbs sampling. We validate our approach through extensive experiments on image inverse problems, utilizing both pixel- and latent-space diffusion priors, as well as on source separation with an audio diffusion model. The code is available at https://www.github.com/badr-moufad/mgdm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google