Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective

要約

我々は、平均または最大の意味で、点の周囲の小さな局所領域における（部分）勾配間の有界差を仮定する、有界局所部分勾配変動の下で非滑らかな最適化問題の研究を開始します。
結果として得られる目的関数のクラスは、最適化で従来研究されてきた目的関数のクラスをカプセル化します。目的関数のクラスは、目的のリプシッツ連続性または勾配のヘルダー/リプシッツ連続性に基づいて定義されます。
さらに、定義されたクラスには、リプシッツ連続でも、高次連続勾配でもない関数が含まれています。
最適化問題の従来のクラスに限定すると、研究対象のクラスを定義するパラメータにより、よりきめ細かい複雑さの限界が得られ、最悪のケースでは従来のオラクルの複雑さの限界が回復しますが、一般に「最悪のケース」ではない関数のオラクルの複雑さの低下につながります。
私たちの結果のハイライトは次のとおりです: (i) (ローカルまたはグローバル) リプシッツ定数を局所的な勾配変動の定数で置き換えることにより、凸問題と非凸問題の両方について複雑さの結果を取得することが可能、および (ii) 平均
最適値の周りの微分セットの幅は、特に並列設定において、非滑らかな最適化の複雑さに影響します。
(ii) の結果として、どの誤差パラメータ $\epsilon > 0$ についても、非滑らかなリプシッツ凸最適化の並列オラクルの複雑さは、その逐次オラクルの複雑さよりも係数 $\tilde{\Omega}\big(\frac{
1}{\epsilon}\big)$ 目的関数が入力サイズの多項式に多くの部分を持つ区分線形である場合は常に。
既存の並列計算量の下限はそのような関数のクラスに基づいているため、これは特に驚くべきことです。
一見矛盾しているように見えますが、アルゴリズムが目的をクエリできる領域を考慮することで解決されます。

要約(オリジナル)

We initiate the study of nonsmooth optimization problems under bounded local subgradient variation, which postulates bounded difference between (sub)gradients in small local regions around points, in either average or maximum sense. The resulting class of objective functions encapsulates the classes of objective functions traditionally studied in optimization, which are defined based on either Lipschitz continuity of the objective or H\'{o}lder/Lipschitz continuity of its gradient. Further, the defined class contains functions that are neither Lipschitz continuous nor have a H\'{o}lder continuous gradient. When restricted to the traditional classes of optimization problems, the parameters defining the studied classes lead to more fine-grained complexity bounds, recovering traditional oracle complexity bounds in the worst case but generally leading to lower oracle complexity for functions that are not “worst case.” Some highlights of our results are that: (i) it is possible to obtain complexity results for both convex and nonconvex problems with the (local or global) Lipschitz constant being replaced by a constant of local subgradient variation and (ii) mean width of the subdifferential set around the optima plays a role in the complexity of nonsmooth optimization, particularly in parallel settings. A consequence of (ii) is that for any error parameter $\epsilon > 0$, parallel oracle complexity of nonsmooth Lipschitz convex optimization is lower than its sequential oracle complexity by a factor $\tilde{\Omega}\big(\frac{1}{\epsilon}\big)$ whenever the objective function is piecewise linear with polynomially many pieces in the input size. This is particularly surprising as existing parallel complexity lower bounds are based on such classes of functions. The seeming contradiction is resolved by considering the region in which the algorithm is allowed to query the objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google