The Computational Complexity of Finding Stationary Points in Non-Convex Optimization

要約

非凸であるが滑らかな目的関数 $f$ の近似静止点、つまり勾配がほぼゼロである点を無制限の $d$ 次元領域上で見つけることは、古典的な非凸最適化における最も基本的な問題の 1 つです。
それにもかかわらず、問題の次元 $d$ が近似誤差に依存しない場合、この問題の計算とクエリの複雑さはまだよく理解されていません。
この論文では、次の計算およびクエリの複雑さの結果を示します。 1. 制限のない領域にわたって近似静止点を見つける問題は、PLS 完全です。
2. $d = 2$ の場合、目的関数に対する最大 $O(1/\varepsilon)$ 値のクエリを必要とする $\varepsilon$ 近似静止点を見つけるための 0 次アルゴリズムを提供します。
3. $d=2$ のとき、$\varepsilon$ 近似静止点を見つけるには、どのアルゴリズムでも目的関数やその勾配に対する少なくとも $\Omega(1/\varepsilon)$ クエリが必要であることを示します。
上記と組み合わせると、この問題のクエリの複雑さは $\Theta(1/\varepsilon)$ であることがわかります。
4. $d = 2$ の場合、制約付き最適化問題で $\varepsilon$-KKT 点を見つけるためのゼロ次アルゴリズムを提供します。これには、最大でも $O(1/\sqrt{\varepsilon})$ 値のクエリが必要です。
目的関数。
これにより、Bubeck と Mitolincer [2020] の研究と Vavasis [1993] の研究の間のギャップが縮まり、この問題のクエリの複雑さが $\Theta(1/\sqrt{\varepsilon})$ であることが特徴付けられます。
5. 私たちの結果を Fearnley らの最近の結果と組み合わせる。
[2022] では、制約付き最適化で近似 KKT 点を見つけることは、制約なしの最適化で近似静止点を見つけることに還元可能ですが、その逆は不可能であることを示します。

要約(オリジナル)

Finding approximate stationary points, i.e., points where the gradient is approximately zero, of non-convex but smooth objective functions $f$ over unrestricted $d$-dimensional domains is one of the most fundamental problems in classical non-convex optimization. Nevertheless, the computational and query complexity of this problem are still not well understood when the dimension $d$ of the problem is independent of the approximation error. In this paper, we show the following computational and query complexity results: 1. The problem of finding approximate stationary points over unrestricted domains is PLS-complete. 2. For $d = 2$, we provide a zero-order algorithm for finding $\varepsilon$-approximate stationary points that requires at most $O(1/\varepsilon)$ value queries to the objective function. 3. We show that any algorithm needs at least $\Omega(1/\varepsilon)$ queries to the objective function and/or its gradient to find $\varepsilon$-approximate stationary points when $d=2$. Combined with the above, this characterizes the query complexity of this problem to be $\Theta(1/\varepsilon)$. 4. For $d = 2$, we provide a zero-order algorithm for finding $\varepsilon$-KKT points in constrained optimization problems that requires at most $O(1/\sqrt{\varepsilon})$ value queries to the objective function. This closes the gap between the works of Bubeck and Mikulincer [2020] and Vavasis [1993] and characterizes the query complexity of this problem to be $\Theta(1/\sqrt{\varepsilon})$. 5. Combining our results with the recent result of Fearnley et al. [2022], we show that finding approximate KKT points in constrained optimization is reducible to finding approximate stationary points in unconstrained optimization but the converse is impossible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google