Adaptive Accelerated Proximal Gradient Methods with Variance Reduction for Composite Nonconvex Finite-Sum Minimization

要約

このホワイトペーパーでは、{\ sf aapg-Spider}を提案します。{\ sf aapg-spider}は、複合convex有限サム関数を最小化するための分散削減を備えた適応加速近位勾配（AAPG）メソッドを提案します。
3つの加速技術を統合します。適応段階、ネステロフの外挿、再帰確率的パス統合推定量クモです。
確率的な有限サムの問題をターゲットにしている間、{\ sf aapg-spider}は、完全なバッチで非確率的設定で{\ sf aapg}に簡素化されますが、これも独立した関心です。
私たちの知る限り、{\ sf aapg-spider}および{\ sf aapg}は、このクラスの\ textit {composite}最小化問題の最適な反復の複雑さを実現する最初の学習レートフリーの方法です。
具体的には、{\ sf aapg}は、$ \ mathcal {o}（n \ epsilon^{-2}）$の最適な反復複雑度を達成し、{\ sf aapg-spider}は$ \ mathcal {o}（n + \ sqrt {n} \ epsilon^{-2} {n + \ sqrt（n + \ sqrt）を達成します。
$ \ epsilon $ -Approximateの固定点。$ n $はコンポーネント関数の数です。
Kurdyka-Lojasiewicz（KL）の仮定の下で、両方の方法で非エルゴード収束率を確立します。
スパースフェーズ検索および線形固有値の問題に関する予備的な実験は、既存の方法と比較して{\ sf aapg-Spider}および{\ sf aapg}の優れた性能を示しています。

要約(オリジナル)

This paper proposes {\sf AAPG-SPIDER}, an Adaptive Accelerated Proximal Gradient (AAPG) method with variance reduction for minimizing composite nonconvex finite-sum functions. It integrates three acceleration techniques: adaptive stepsizes, Nesterov’s extrapolation, and the recursive stochastic path-integrated estimator SPIDER. While targeting stochastic finite-sum problems, {\sf AAPG-SPIDER} simplifies to {\sf AAPG} in the full-batch, non-stochastic setting, which is also of independent interest. To our knowledge, {\sf AAPG-SPIDER} and {\sf AAPG} are the first learning-rate-free methods to achieve optimal iteration complexity for this class of \textit{composite} minimization problems. Specifically, {\sf AAPG} achieves the optimal iteration complexity of $\mathcal{O}(N \epsilon^{-2})$, while {\sf AAPG-SPIDER} achieves $\mathcal{O}(N + \sqrt{N} \epsilon^{-2})$ for finding $\epsilon$-approximate stationary points, where $N$ is the number of component functions. Under the Kurdyka-Lojasiewicz (KL) assumption, we establish non-ergodic convergence rates for both methods. Preliminary experiments on sparse phase retrieval and linear eigenvalue problems demonstrate the superior performance of {\sf AAPG-SPIDER} and {\sf AAPG} compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google