Exploring Non-Convex Discrete Energy Landscapes: An Efficient Langevin-Like Sampler with Replica Exchange

要約

グラデーションベースの離散サンプラー（GDS）は、離散エネルギーのランドスケープをサンプリングするのに効果的です。
しかし、それらはしばしば複雑で非凸設定で停滞します。
探索を改善するために、個別のレプリカ交換Langevin（Drexel）サンプラーと、調整されたメトロポリス（夢）を備えたそのバリアントを紹介します。
これらのサンプラーは、異なる温度とステップサイズで2つのGDSを使用します。1つは局所的な搾取に焦点を当て、もう1つはより広いエネルギーの風景を探求します。
エネルギーの違いが大きい場合、サンプルスワップが発生し、詳細なバランスを確保するために離散サンプリングに合わせたメカニズムによって決定されます。
理論的には、提案されたサンプラーが詳細なバランスを満たし、軽度の条件下でターゲット分布に収束することを証明します。
2D合成シミュレーション全体の実験、ISINGモデルと制限付きボルツマンマシンからのサンプリング、およびディープエネルギーベースのモデルのトレーニングにより、非凸の離散エネルギー景観の調査における効率がさらに確認されます。

要約(オリジナル)

Gradient-based Discrete Samplers (GDSs) are effective for sampling discrete energy landscapes. However, they often stagnate in complex, non-convex settings. To improve exploration, we introduce the Discrete Replica EXchangE Langevin (DREXEL) sampler and its variant with Adjusted Metropolis (DREAM). These samplers use two GDSs at different temperatures and step sizes: one focuses on local exploitation, while the other explores broader energy landscapes. When energy differences are significant, sample swaps occur, which are determined by a mechanism tailored for discrete sampling to ensure detailed balance. Theoretically, we prove that the proposed samplers satisfy detailed balance and converge to the target distribution under mild conditions. Experiments across 2d synthetic simulations, sampling from Ising models and restricted Boltzmann machines, and training deep energy-based models further confirm their efficiency in exploring non-convex discrete energy landscapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google