Gaussian Cooling and Dikin Walks: The Interior-Point Method for Logconcave Sampling

要約

(凸) 最適化と (対数凹) サンプリングの間の関係は、多くの概念的および数学的な類似点により、過去 10 年間で大幅に強化されました。
たとえば、ランジュバン アルゴリズムは、勾配降下法のサンプリング類似物とみなすことができ、そのパフォーマンスについて条件数に依存する保証があります。
1990 年代初頭に、ネステロフとネミロフスキーは、自己一致バリアに基づく凸最適化のための内点法 (IPM) を開発し、一般的な手法よりも高速な構造化凸最適化のための効率的なアルゴリズムを提供しました。
これにより、次のような疑問が生じます。構造化サンプリング問題に対して同様の IPM を開発できるでしょうか?
2012 年に、Kannan と Narayanan は、ポリトープを均一にサンプリングするための Dikin walk を提案し、2020 年に Laddha-Lee-Vempala によって改良された分析が行われました。
Dikin ウォークは、線形制約の自己一致バリアによって定義されたローカル メトリックを使用します。
ここでは、ポリタイム サンプリング アルゴリズム用の Dikin walk と合わせて IPM 機構を開発および適応させることで、このアプローチを一般化します。
当社の IPM ベースのサンプリング フレームワークは効率的なウォーム スタートを提供し、均一な分布や線形制約を超えます。
重要な特殊なケースに関するアプローチを示し、特に切頭 PSD 円錐上の均一分布、指数分布、またはガウス分布をサンプリングする最速のアルゴリズムを示します。
このフレームワークは一般的なものであり、他のサンプリング アルゴリズムにも適用できます。

要約(オリジナル)

The connections between (convex) optimization and (logconcave) sampling have been considerably enriched in the past decade with many conceptual and mathematical analogies. For instance, the Langevin algorithm can be viewed as a sampling analogue of gradient descent and has condition-number-dependent guarantees on its performance. In the early 1990s, Nesterov and Nemirovski developed the Interior-Point Method (IPM) for convex optimization based on self-concordant barriers, providing efficient algorithms for structured convex optimization, often faster than the general method. This raises the following question: can we develop an analogous IPM for structured sampling problems? In 2012, Kannan and Narayanan proposed the Dikin walk for uniformly sampling polytopes, and an improved analysis was given in 2020 by Laddha-Lee-Vempala. The Dikin walk uses a local metric defined by a self-concordant barrier for linear constraints. Here we generalize this approach by developing and adapting IPM machinery together with the Dikin walk for poly-time sampling algorithms. Our IPM-based sampling framework provides an efficient warm start and goes beyond uniform distributions and linear constraints. We illustrate the approach on important special cases, in particular giving the fastest algorithms to sample uniform, exponential, or Gaussian distributions on a truncated PSD cone. The framework is general and can be applied to other sampling algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google