Continuized Acceleration for Quasar Convex Functions in Non-Convex Optimization

要約

クエーサーの凸性は、最適化ランドスケープが凸でない場合でも、一部の 1 次メソッドが関数を効率的に最小化できるようにする条件です。
以前の研究では、このクラスの関数を最小化するための最適に近い加速アルゴリズムが開発されましたが、二分探索のサブルーチンが必要であり、反復ごとに勾配評価が複数回呼び出されるため、勾配評価の総数が既知の下限と一致しません。
バウンド。
この作業では、最近提案された連続ネステロフ加速をクエーサー凸関数の最小化に適用でき、高い確率で最適な境界を達成できることを示します。
さらに、一般化線形モデル（GLM）のトレーニングの目的関数がクエーサーの凸性を満たし、関連するアルゴリズムの適用性を広げることがわかりましたが、非凸学習におけるクエーサーの凸性の既知の実際の例は文献ではまばらです。
また、滑らかで 1 点の強い凸関数、Polyak-Lojasiewicz、または 2 次成長関数がクエーサーの凸性を満たす場合、関数を最小化するための加速された線形速度を達成することは特定の条件下で可能ですが、加速は一般に知られていないことも示します。
これらのクラスの関数に対して。

要約(オリジナル)

Quasar convexity is a condition that allows some first-order methods to efficiently minimize a function even when the optimization landscape is non-convex. Previous works develop near-optimal accelerated algorithms for minimizing this class of functions, however, they require a subroutine of binary search which results in multiple calls to gradient evaluations in each iteration, and consequently the total number of gradient evaluations does not match a known lower bound. In this work, we show that a recently proposed continuized Nesterov acceleration can be applied to minimizing quasar convex functions and achieves the optimal bound with a high probability. Furthermore, we find that the objective functions of training generalized linear models (GLMs) satisfy quasar convexity, which broadens the applicability of the relevant algorithms, while known practical examples of quasar convexity in non-convex learning are sparse in the literature. We also show that if a smooth and one-point strongly convex, Polyak-Lojasiewicz, or quadratic-growth function satisfies quasar convexity, then attaining an accelerated linear rate for minimizing the function is possible under certain conditions, while acceleration is not known in general for these classes of functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google