Reverse Diffusion Monte Carlo

要約

最新の生成モデルの有効性は一般に、拡散モデルと高品質のデータ サンプルを生成するその能力に焦点を当てた、拡散経路に沿ったスコア推定の精度に左右されます。
この研究では、モンテカルロ サンプリングへの逆拡散の適用について詳しく説明します。
スコア推定は、遷移カーネルの分解を通じて平均推定問題に変換できることが示されています。
事後分布の平均を推定することにより、逆拡散プロセスから新しいモンテカルロ サンプリング アルゴリズムを導き出します。これは、従来のマルコフ連鎖モンテカルロ (MCMC) 法とは異なります。
事後分布の誤差要件とサンプル サイズを計算し、その結果を使用して、ターゲット分布を任意の精度で近似できるアルゴリズムを導き出します。
さらに、事後分布の対数ソボレフ定数を推定することにより、適切な条件下では、事後分布からのサンプリングの問題が、従来の MCMC 手法を使用してターゲット分布から直接サンプリングするよりも簡単になる可能性があることを示します。
混合ガウス モデルについては、新しいアルゴリズムが理論的にも実際的にも従来のランジュバン スタイルの MCMC サンプリング法に比べて大幅な改善を達成することを実証します。
私たちのアルゴリズムは、複雑な分布に対処するために、従来の MCMC アルゴリズムを超えた新しい視点とソリューションを提供します。

要約(オリジナル)

The efficacy of modern generative models is commonly contingent upon the precision of score estimation along the diffusion path, with a focus on diffusion models and their ability to generate high-quality data samples. This study delves into the application of reverse diffusion to Monte Carlo sampling. It is shown that score estimation can be transformed into a mean estimation problem via the decomposition of the transition kernel. By estimating the mean of the posterior distribution, we derive a novel Monte Carlo sampling algorithm from the reverse diffusion process, which is distinct from traditional Markov Chain Monte Carlo (MCMC) methods. We calculate the error requirements and sample size for the posterior distribution, and use the result to derive an algorithm that can approximate the target distribution to any desired accuracy. Additionally, by estimating the log-Sobolev constant of the posterior distribution, we show under suitable conditions the problem of sampling from the posterior can be easier than direct sampling from the target distribution using traditional MCMC techniques. For Gaussian mixture models, we demonstrate that the new algorithm achieves significant improvement over the traditional Langevin-style MCMC sampling methods both theoretically and practically. Our algorithm offers a new perspective and solution beyond classical MCMC algorithms for challenging complex distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google