Learning Rate Free Sampling in Constrained Domains

要約

学習率が完全に自由な、制約された領域でのサンプリングのための一連の新しい粒子ベースのアルゴリズムを導入します。
私たちのアプローチは、凸最適化からのコイン ベッティングのアイデアと、確率尺度の空間上のミラー化された最適化問題としての制約付きサンプリングの観点を活用しています。
この観点に基づいて、ミラー化されたランジュバン ダイナミクスやミラー化されたシュタイン変分勾配降下法など、いくつかの既存の制約付きサンプリング アルゴリズムの統一フレームワークも導入します。
シンプレックス上のターゲットからのサンプリング、公平性制約を伴うサンプリング、選択後の推論における制約付きサンプリング問題など、さまざまな数値例でアルゴリズムのパフォーマンスを実証します。
私たちの結果は、ハイパーパラメーターを調整する必要がなく、アルゴリズムが既存の制約付きサンプリング手法と競合するパフォーマンスを達成していることを示しています。

要約(オリジナル)

We introduce a suite of new particle-based algorithms for sampling in constrained domains which are entirely learning rate free. Our approach leverages coin betting ideas from convex optimisation, and the viewpoint of constrained sampling as a mirrored optimisation problem on the space of probability measures. Based on this viewpoint, we also introduce a unifying framework for several existing constrained sampling algorithms, including mirrored Langevin dynamics and mirrored Stein variational gradient descent. We demonstrate the performance of our algorithms on a range of numerical examples, including sampling from targets on the simplex, sampling with fairness constraints, and constrained sampling problems in post-selection inference. Our results indicate that our algorithms achieve competitive performance with existing constrained sampling methods, without the need to tune any hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google