Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors

要約

我々は、表現的な変分事後として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムである、ノイズ除去拡散変分推論 (DDVI) を提案します。
私たちの方法は、補助潜在を使用して変分事後分布を拡張し、ユーザー指定のノイズ プロセスを逆転することによって潜在空間で拡散を実行する表現力豊かなモデルのクラスを生成します。
覚醒-睡眠アルゴリズムにヒントを得た限界尤度の新しい下限を最適化することで、これらのモデルを適合させます。
私たちの方法は実装が簡単で (ELBO の正規化された拡張に適合します)、ブラックボックス変分推論と互換性があり、正規化フローまたは敵対的ネットワークに基づく近似事後推定の代替クラスよりも優れています。
深い潜在変数モデルに適用すると、私たちの方法はノイズ除去拡散 VAE (DD-VAE) アルゴリズムを生成します。
私たちはこのアルゴリズムを、ヒトゲノムから潜在的な祖先を推測するという生物学のやる気を起こさせるタスクに使用し、サウザンド ゲノム データセットの強力なベースラインを上回るパフォーマンスを発揮しました。

要約(オリジナル)

We propose denoising diffusion variational inference (DDVI), an approximate inference algorithm for latent variable models which relies on diffusion models as expressive variational posteriors. Our method augments variational posteriors with auxiliary latents, which yields an expressive class of models that perform diffusion in latent space by reversing a user-specified noising process. We fit these models by optimizing a novel lower bound on the marginal likelihood inspired by the wake-sleep algorithm. Our method is easy to implement (it fits a regularized extension of the ELBO), is compatible with black-box variational inference, and outperforms alternative classes of approximate posteriors based on normalizing flows or adversarial networks. When applied to deep latent variable models, our method yields the denoising diffusion VAE (DD-VAE) algorithm. We use this algorithm on a motivating task in biology — inferring latent ancestry from human genomes — outperforming strong baselines on the Thousand Genomes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google