Gradient-based Discrete Sampling with Automatic Cyclical Scheduling

要約

離散分布、特に高次元の深層モデルでは、固有の不連続性により高度に多峰性になることがよくあります。
勾配ベースの離散サンプリングは効果的であることが証明されていますが、勾配情報によりローカル モードに閉じ込められる可能性があります。
この課題に取り組むために、私たちは、多峰性の離散分布で効率的かつ正確なサンプリングを行うように設計された自動循環スケジューリングを提案します。
私たちの方法には 3 つの重要なコンポーネントが含まれています。(1) 大きなステップが新しいモードを発見し、小さなステップが各モードを活用する周期的なステップ サイズ スケジュール。
(2) 周期的バランシング スケジュール。指定されたステップ サイズとマルコフ連鎖の高効率に対する「バランスの取れた」提案を保証します。
(3) 周期的なスケジュールでハイパーパラメータを調整するための自動調整スキームにより、最小限の調整で多様なデータセットに適応できるようになります。
一般的な離散分布における私たちの方法の非漸近収束と推論保証を証明します。
広範な実験により、複雑な多峰性の離散分布のサンプリングにおける私たちの方法の優位性が実証されました。

要約(オリジナル)

Discrete distributions, particularly in high-dimensional deep models, are often highly multimodal due to inherent discontinuities. While gradient-based discrete sampling has proven effective, it is susceptible to becoming trapped in local modes due to the gradient information. To tackle this challenge, we propose an automatic cyclical scheduling, designed for efficient and accurate sampling in multimodal discrete distributions. Our method contains three key components: (1) a cyclical step size schedule where large steps discover new modes and small steps exploit each mode; (2) a cyclical balancing schedule, ensuring “balanced’ proposals for given step sizes and high efficiency of the Markov chain; and (3) an automatic tuning scheme for adjusting the hyperparameters in the cyclical schedules, allowing adaptability across diverse datasets with minimal tuning. We prove the non-asymptotic convergence and inference guarantee for our method in general discrete distributions. Extensive experiments demonstrate the superiority of our method in sampling complex multimodal discrete distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google