Persistently Trained, Diffusion-assisted Energy-based Models

要約

タイトル：持続的に訓練され、拡散支援エネルギーベースのモデル

要約：
– エネルギーベースのモデル（EBM）の最尤法学習は、Markov chain Monte Carlo（MCMC）の非収束のために困難である。
– いくつかのML学習の変形が提案されているが、既存の手法はすべて、ポストトレーニングイメージ生成と正しい密度推定の両方を達成することができない。
– 拡散データを導入し、拡散支援EBMをジョイント学習することを提案する。
– パーシステントトレーニング（すなわち、パーシステント対照的分散）を使用して拡張サンプリングアルゴリズムを学習することで、複雑な多峰性分布から適切にサンプリングすることができる。
– 2Dの実験と画像の実験の結果を示し、初めて画像データについて、持続的に訓練されたEBMが長期的な安定性、ポストトレーニングイメージ生成、および優れた外部分布検出を同時に達成できることを示す。

要約(オリジナル)

Maximum likelihood (ML) learning for energy-based models (EBMs) is challenging, partly due to non-convergence of Markov chain Monte Carlo.Several variations of ML learning have been proposed, but existing methods all fail to achieve both post-training image generation and proper density estimation. We propose to introduce diffusion data and learn a joint EBM, called diffusion assisted-EBMs, through persistent training (i.e., using persistent contrastive divergence) with an enhanced sampling algorithm to properly sample from complex, multimodal distributions. We present results from a 2D illustrative experiment and image experiments and demonstrate that, for the first time for image data, persistently trained EBMs can {\it simultaneously} achieve long-run stability, post-training image generation, and superior out-of-distribution detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI