Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions

要約

高次元のマルチモーダル分布からのサンプリングは、統計ベイズ推論や物理ベースの機械学習などの分野にわたって依然として基本的な課題です。
この論文では、高次元のマルチモーダル分布からサンプリングするように設計された連続正規化フローベースのアプローチであるアニーリング フロー (AF) を提案します。
重要なアイデアは、アニーリングによってガイドされる連続正規化フローベースの輸送マップを学習して、サンプルをサンプルしやすい分布からターゲット分布に移行させ、高次元空間でのモードの効果的な探索を促進することです。
多くの既存の方法とは異なり、AF トレーニングはターゲット分布からのサンプルに依存しません。
AF は効果的でバランスのとれたモード探索を保証し、サンプルのサイズと寸法の直線的な複雑さを実現し、非効率な混合時間を回避します。
私たちは、さまざまな困難な分布と現実世界のデータセット、特に高次元およびマルチモーダル設定における広範な実験を通じて、最先端の方法と比較して AF の優れたパフォーマンスを実証します。
また、最も好ましくない分布をサンプリングするための AF の可能性も強調します。

要約(オリジナル)

Sampling from high-dimensional, multi-modal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics-based machine learning. In this paper, we propose Annealing Flow (AF), a continuous normalizing flow-based approach designed to sample from high-dimensional and multi-modal distributions. The key idea is to learn a continuous normalizing flow-based transport map, guided by annealing, to transition samples from an easy-to-sample distribution to the target distribution, facilitating effective exploration of modes in high-dimensional spaces. Unlike many existing methods, AF training does not rely on samples from the target distribution. AF ensures effective and balanced mode exploration, achieves linear complexity in sample size and dimensions, and circumvents inefficient mixing times. We demonstrate the superior performance of AF compared to state-of-the-art methods through extensive experiments on various challenging distributions and real-world datasets, particularly in high-dimensional and multi-modal settings. We also highlight the potential of AF for sampling the least favorable distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google