Convergence Rates for Non-Log-Concave Sampling and Log-Partition Estimation

要約

ギブス分布 $p(x) ︓exp(-V(x)/varepsilon)$ からのサンプリングとその対数分割関数の計算は、統計、機械学習、統計物理の基本課題である。しかし、凸型ポテンシャル$V$では効率的なアルゴリズムが知られているが、非凸型では状況はより厳しく、アルゴリズムは最悪の場合、必ず次元の呪いに悩まされる。サンプリングの低温度限界ともいえる最適化では、滑らかな関数$V$を用いると、収束速度が速くなることが知られている。具体的には、$d$次元の$m$回微分可能な関数に対して、$n$回の関数評価を行うアルゴリズムの最適化率は$O(n^{-m/d})$であることが知られており、定数は$m、d$、最適化する関数に依存する可能性があります。この定数は$m, d$と最適化される関数に依存する可能性がある。最近、多項式実行時間$O(n^{3.5})$で同様の高速化が可能であることが示された（指数$3.5$は$m$や$d$に依存しない）。したがって、サンプリングと対数分割計算について同様の速度が可能かどうか、また、$m$と$d$に依存しない指数で多項式時間で実現できるかどうかを問うのは自然なことである。我々は、サンプリングと対数分割計算の最適化レートが、最適化と同等である場合と、最適化より速い場合があることを示す。次に、最近の有望な最適化手法の拡張を含む、様々な多項式時間サンプリングアルゴリズムを解析し、興味深い挙動を示すことがあるが、最適速度に近いものはないことを見出した。また、我々の結果は、サンプリング、対数分割、最適化問題の関係について、さらなる洞察を与える。

要約(オリジナル)

Sampling from Gibbs distributions $p(x) \propto \exp(-V(x)/\varepsilon)$ and computing their log-partition function are fundamental tasks in statistics, machine learning, and statistical physics. However, while efficient algorithms are known for convex potentials $V$, the situation is much more difficult in the non-convex case, where algorithms necessarily suffer from the curse of dimensionality in the worst case. For optimization, which can be seen as a low-temperature limit of sampling, it is known that smooth functions $V$ allow faster convergence rates. Specifically, for $m$-times differentiable functions in $d$ dimensions, the optimal rate for algorithms with $n$ function evaluations is known to be $O(n^{-m/d})$, where the constant can potentially depend on $m, d$ and the function to be optimized. Hence, the curse of dimensionality can be alleviated for smooth functions at least in terms of the convergence rate. Recently, it has been shown that similarly fast rates can also be achieved with polynomial runtime $O(n^{3.5})$, where the exponent $3.5$ is independent of $m$ or $d$. Hence, it is natural to ask whether similar rates for sampling and log-partition computation are possible, and whether they can be realized in polynomial time with an exponent independent of $m$ and $d$. We show that the optimal rates for sampling and log-partition computation are sometimes equal and sometimes faster than for optimization. We then analyze various polynomial-time sampling algorithms, including an extension of a recent promising optimization approach, and find that they sometimes exhibit interesting behavior but no near-optimal rates. Our results also give further insights on the relation between sampling, log-partition, and optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL