Annealing Flow Generative Models Towards Sampling High-Dimensional and Multi-Modal Distributions

要約

高次元のマルチモーダル分布からのサンプリングは、統計的なベイジアン推論や物理学ベースの機械学習などのドメイン間の根本的な課題のままです。
この論文では、高次元およびマルチモーダル分布からサンプリングするための連続正規化フロー（CNF）に構築された方法であるアニーリングフロー（AF）を提案します。
AFは、Wassersteinの正規化を組み込んだ動的な最適輸送（OT）目的で訓練され、アニーリング手順によって導かれ、高次元空間でのモードの効果的な調査を促進します。
最近のNFメソッドと比較して、AFはMCの支援への依存を最小限に抑えて、トレーニングの効率と安定性を大幅に改善します。
特に高次元およびマルチモーダル設定で、さまざまな挑戦的な分布と現実世界のデータセットに関する実験を通じて、最先端の方法と比較して、AFの優れた性能を示します。
また、最も好ましくない分布をサンプリングする可能性を強調しています。

要約(オリジナル)

Sampling from high-dimensional, multi-modal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics-based machine learning. In this paper, we propose Annealing Flow (AF), a method built on Continuous Normalizing Flow (CNF) for sampling from high-dimensional and multi-modal distributions. AF is trained with a dynamic Optimal Transport (OT) objective incorporating Wasserstein regularization, and guided by annealing procedures, facilitating effective exploration of modes in high-dimensional spaces. Compared to recent NF methods, AF greatly improves training efficiency and stability, with minimal reliance on MC assistance. We demonstrate the superior performance of AF compared to state-of-the-art methods through experiments on various challenging distributions and real-world datasets, particularly in high-dimensional and multi-modal settings. We also highlight AF potential for sampling the least favorable distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google