Convergence Rates for Non-Log-Concave Sampling and Log-Partition Estimation

要約

ギブス分布 $p(x) \propto \exp(-V(x)/\varepsilon)$ からのサンプリングとその対数分配関数の計算は、統計、機械学習、統計物理学の基本的なタスクです。
ただし、凸ポテンシャル $V$ では効率的なアルゴリズムが知られていますが、非凸の場合は状況がさらに難しくなり、アルゴリズムは最悪の場合次元性の呪いに必ず悩まされます。
サンプリングの低温限界と見なされる最適化については、滑らかな関数 $V$ を使用すると収束速度が速くなることが知られています。
具体的には、$d$ 次元の $m$ 回微分可能関数の場合、$n$ 関数評価を行うアルゴリズムの最適なレートは $O(n^{-m/d})$ であることが知られています。
$m、d$、および最適化される関数に依存します。
したがって、少なくとも収束率の観点からは、滑らかな関数の次元性の呪いを軽減することができます。
最近、多項式実行時間 $O(n^{3.5})$ を使用しても同様に高速なレートを達成できることが示されました。ここで、指数 $3.5$ は $m$ または $d$ から独立しています。
したがって、サンプリングと対数分割の計算に同様のレートが可能かどうか、また $m$ と $d$ に依存しない指数を使用して多項式時間で実現できるかどうかを問うのは自然なことです。
サンプリングとログ パーティションの計算の最適なレートは、場合によっては等しく、場合によっては最適化の場合よりも高速であることを示します。
次に、最近の有望な最適化アプローチの拡張を含むさまざまな多項式時間サンプリング アルゴリズムを分析し、それらが時々興味深い動作を示すものの、最適に近いレートは示さないことを発見しました。
私たちの結果は、サンプリング、ログ分割、最適化問題の間の関係についてのさらなる洞察も与えます。

要約(オリジナル)

Sampling from Gibbs distributions $p(x) \propto \exp(-V(x)/\varepsilon)$ and computing their log-partition function are fundamental tasks in statistics, machine learning, and statistical physics. However, while efficient algorithms are known for convex potentials $V$, the situation is much more difficult in the non-convex case, where algorithms necessarily suffer from the curse of dimensionality in the worst case. For optimization, which can be seen as a low-temperature limit of sampling, it is known that smooth functions $V$ allow faster convergence rates. Specifically, for $m$-times differentiable functions in $d$ dimensions, the optimal rate for algorithms with $n$ function evaluations is known to be $O(n^{-m/d})$, where the constant can potentially depend on $m, d$ and the function to be optimized. Hence, the curse of dimensionality can be alleviated for smooth functions at least in terms of the convergence rate. Recently, it has been shown that similarly fast rates can also be achieved with polynomial runtime $O(n^{3.5})$, where the exponent $3.5$ is independent of $m$ or $d$. Hence, it is natural to ask whether similar rates for sampling and log-partition computation are possible, and whether they can be realized in polynomial time with an exponent independent of $m$ and $d$. We show that the optimal rates for sampling and log-partition computation are sometimes equal and sometimes faster than for optimization. We then analyze various polynomial-time sampling algorithms, including an extension of a recent promising optimization approach, and find that they sometimes exhibit interesting behavior but no near-optimal rates. Our results also give further insights on the relation between sampling, log-partition, and optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google