Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors

要約

我々は、柔軟な変分事後として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムであるノイズ除去拡散変分推論 (DDVI) を提案します。
具体的には、私たちの方法では、ユーザー指定のノイズプロセスを逆にすることによって潜在空間で拡散を実行する補助潜在変数を備えた近似事後分布の表現力豊かなクラスを導入します。
これらのモデルは、覚醒-睡眠アルゴリズムからインスピレーションを得た限界尤度の下限を最適化することで適合させます。
私たちの方法は実装が簡単で (ELBO の正規化された拡張に適合します)、ブラックボックス変分推論と互換性があり、正規化フローまたは敵対的ネットワークに基づく近似事後推定の代替クラスよりも優れています。
非可逆の深い再帰アーキテクチャを介してフローベースのメソッドの表現力を高め、敵対的なメソッドの不安定性を回避します。
私たちは、ヒトゲノムから潜在的な祖先を推測するという生物学のモチベーションを高めるタスクに DDVI を使用しています。その結果、DDVI がサウザンド ゲノム データセットの強力なベースラインを上回るパフォーマンスを示していることがわかりました。

要約(オリジナル)

We propose denoising diffusion variational inference (DDVI), an approximate inference algorithm for latent variable models which relies on diffusion models as flexible variational posteriors. Specifically, our method introduces an expressive class of approximate posteriors with auxiliary latent variables that perform diffusion in latent space by reversing a user-specified noising process. We fit these models by optimizing a lower bound on the marginal likelihood inspired by the wake-sleep algorithm. Our method is easy to implement (it fits a regularized extension of the ELBO), is compatible with black-box variational inference, and outperforms alternative classes of approximate posteriors based on normalizing flows or adversarial networks. It increases the expressivity of flow-based methods via non-invertible deep recurrent architectures and avoids the instability of adversarial methods. We use DDVI on a motivating task in biology — inferring latent ancestry from human genomes — and we find that it outperforms strong baselines on the Thousand Genomes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google