On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization

要約

アルゴリズムがローカル関数情報のみにアクセスできると仮定して、非滑らかな非凸最適化のオラクルの複雑さを研究します。
Davis、Drusvyatskiy、Jiang (2023) によって、特定の規則性と厳密性の条件を満たす非滑らかなリプシッツ関数の場合、摂動勾配降下法は局所最小化関数に漸近的に収束することが示されています。
この結果と、ゴールドスタインの定常性に関する非凸非滑らかな最適化における他の最近のアルゴリズムの進歩を動機として、この問題クラスの極小値への非漸近収束率を取得する問題を検討します。
この質問に対して、次のような否定的な答えを提供します。通常のリプシッツ関数に作用するローカル アルゴリズムは、最悪の場合、たとえすべての近定常点が大域最小値であっても、亜指数時間での関数値に関して意味のあるローカル保証を提供できません。
これは、標準的な勾配法が次元に依存しないレートで実行できることがよく知られているスムーズ設定とは明らかに対照的です。
私たちの結果は、$\mathsf{P}\neq\mathsf{NP}$ などの推測や暗号の仮定を条件とした硬度の結果を提供する理論的なコンピューター サイエンスの文献の豊富な研究を補完するものであり、私たちの結果はそのような仮定を無条件に保持します。
。

要約(オリジナル)

We study the oracle complexity of nonsmooth nonconvex optimization, with the algorithm assumed to have access only to local function information. It has been shown by Davis, Drusvyatskiy, and Jiang (2023) that for nonsmooth Lipschitz functions satisfying certain regularity and strictness conditions, perturbed gradient descent converges to local minimizers asymptotically. Motivated by this result and by other recent algorithmic advances in nonconvex nonsmooth optimization concerning Goldstein stationarity, we consider the question of obtaining a non-asymptotic rate of convergence to local minima for this problem class. We provide the following negative answer to this question: Local algorithms acting on regular Lipschitz functions cannot, in the worst case, provide meaningful local guarantees in terms of function value in sub-exponential time, even when all near-stationary points are global minima. This sharply contrasts with the smooth setting, for which it is well-known that standard gradient methods can do so in a dimension-independent rate. Our result complements the rich body of work in the theoretical computer science literature that provide hardness results conditional on conjectures such as $\mathsf{P}\neq\mathsf{NP}$ or cryptographic assumptions, in that ours holds unconditional of any such assumptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google