Gradient-Guided Importance Sampling for Learning Binary Energy-Based Models

要約

エネルギーベースのモデル (EBM) の学習は、特に勾配ベースの学習戦略を直接適用できない離散データでは難しいことが知られています。
比率マッチングは離散 EBM を学習するための適切な方法ですが、高価な計算と過剰なメモリ要件に悩まされ、その結果、高次元データで EBM を学習することが困難になります。
これらの制限に動機付けられて、この研究では、勾配誘導重要度サンプリング (RMwGGIS) による比率マッチングを提案します。
特に、エネルギー関数 w.r.t の勾配を使用します。
離散データ空間を使用して、証明可能な最適な提案分布を近似的に構築します。これは、その後、重要度サンプリングによって使用され、元の比率一致目標を効率的に推定します。
合成離散データに対する密度モデリング、グラフ生成、およびイジングモデルのトレーニングに関する実験を実行して、提案された方法を評価します。
実験結果は、私たちの方法が比率マッチングの制限を大幅に緩和し、実際により効果的に実行し、高次元の問題にスケーリングできることを示しています。
私たちの実装は、https://github.com/divelab/RMwGGIS で入手できます。

要約(オリジナル)

Learning energy-based models (EBMs) is known to be difficult especially on discrete data where gradient-based learning strategies cannot be applied directly. Although ratio matching is a sound method to learn discrete EBMs, it suffers from expensive computation and excessive memory requirements, thereby resulting in difficulties in learning EBMs on high-dimensional data. Motivated by these limitations, in this study, we propose ratio matching with gradient-guided importance sampling (RMwGGIS). Particularly, we use the gradient of the energy function w.r.t. the discrete data space to approximately construct the provably optimal proposal distribution, which is subsequently used by importance sampling to efficiently estimate the original ratio matching objective. We perform experiments on density modeling over synthetic discrete data, graph generation, and training Ising models to evaluate our proposed method. The experimental results demonstrate that our method can significantly alleviate the limitations of ratio matching, perform more effectively in practice, and scale to high-dimensional problems. Our implementation is available at https://github.com/divelab/RMwGGIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google