Improved sampling via learned diffusions

要約

最近、一連の論文で、制御された拡散プロセスを使用して正規化されていないターゲット密度からサンプリングする深層学習ベースのアプローチが提案されました。
この研究では、これらのアプローチをシュレディンガー ブリッジ問題の特殊なケースとして特定し、特定の事前分布と指定されたターゲットの間で最も可能性の高い確率的進化を求めます。
我々は、時間逆転拡散過程の経路空間測定間の発散に基づく変分定式化を導入することによって、このフレームワークをさらに一般化します。
この抽象的な観点は、勾配ベースのアルゴリズムによって最適化できる実際的な損失につながり、特殊なケースとして以前の目的が含まれます。
同時に、モード崩壊が起こることが知られている逆カルバック・ライブラー発散以外の発散を考慮することができます。
特に、我々は、いわゆる対数分散損失を提案します。これは、好ましい数値特性を示し、考慮されたすべてのアプローチにわたってパフォーマンスの大幅な向上につながります。

要約(オリジナル)

Recently, a series of papers proposed deep learning-based approaches to sample from unnormalized target densities using controlled diffusion processes. In this work, we identify these approaches as special cases of the Schr\’odinger bridge problem, seeking the most likely stochastic evolution between a given prior distribution and the specified target. We further generalize this framework by introducing a variational formulation based on divergences between path space measures of time-reversed diffusion processes. This abstract perspective leads to practical losses that can be optimized by gradient-based algorithms and includes previous objectives as special cases. At the same time, it allows us to consider divergences other than the reverse Kullback-Leibler divergence that is known to suffer from mode collapse. In particular, we propose the so-called log-variance loss, which exhibits favorable numerical properties and leads to significantly improved performance across all considered approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google