Generalised Parallel Tempering: Flexible Replica Exchange via Flows and Diffusions

要約

Parallel Tempering（PT）は、並列計算を活用するために設計された古典的なMCMCアルゴリズムで、アニーリングを介した高次元、マルチモーダル、またはその他の複雑な分布から効率的にサンプリングします。
PTの標準定式化の1つの制限は、ますます困難な分布のために、効果的なサンプルサイズまたは往復率で測定されるように、高品質のサンプルを生成するために必要な計算リソースの成長です。
この問題に対処するために、Frameworkを提案します。これは、MCMCと同じ理論的保証を維持しながら、並列抑制内で、フローや拡散モデルの正規化や拡散モデルなど、最近の生成モデリングに最近の進歩を組み込むことを可能にする一般化された並列抑制（GEPT）を提案します。
ベースの方法。
たとえば、これにより、拡散モデルを並列化された方法で利用できることを示しており、高品質のサンプルを生成するために多数のステップの通常の計算コストをバイパスします。
さらに、GEPTがサンプルの品質を改善し、古典的なアルゴリズム上の複雑な分布を処理するために必要な計算リソースの成長を減らすことができることを経験的に実証します。

要約(オリジナル)

Parallel Tempering (PT) is a classical MCMC algorithm designed for leveraging parallel computation to sample efficiently from high-dimensional, multimodal or otherwise complex distributions via annealing. One limitation of the standard formulation of PT is the growth of computational resources required to generate high-quality samples, as measured by effective sample size or round trip rate, for increasingly challenging distributions. To address this issue, we propose the framework: Generalised Parallel Tempering (GePT) which allows for the incorporation of recent advances in modern generative modelling, such as normalising flows and diffusion models, within Parallel Tempering, while maintaining the same theoretical guarantees as MCMC-based methods. For instance, we show that this allows us to utilise diffusion models in a parallelised manner, bypassing the usual computational cost of a large number of steps to generate quality samples. Further, we empirically demonstrate that GePT can improve sample quality and reduce the growth of computational resources required to handle complex distributions over the classical algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google