Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization

要約

この論文では、有限和非凸複合最適化を解くように設計された新しいアルゴリズム、Perturbed Proximal Precondition SPIDER アルゴリズム (3P-SPIDER) を紹介します。
これは確率的変数メトリック前方後方アルゴリズムであり、前処理された近似前方演算子を許可し、変数メトリック近接演算子を後方演算子として使用します。
また、有限和設定に対処するための分散削減を伴うミニバッチ戦略も提案しています。
3P-SPIDER は、いくつかの確率論的前処理付き勾配降下ベースのアルゴリズムといくつかの増分期待値最大化アルゴリズムを複合最適化に拡張し、前方演算子を閉じた形式で計算できない場合に拡張することを示します。
また、3P-SPIDER を期待して収束の明示的な制御を提供し、イプシロン近似の定常条件を満たすためにその複雑さを調べます。
私たちの結果は、複合非凸最適化設定、ミニバッチ戦略を使用して有限和設定に取り組むための分散削減手法、および事前条件付きフォワード演算子の決定論的またはランダムな近似を可能にする最初のものです。
最後に、ランダム効果を伴うロジスティック回帰モデルでの推論への適用を通じて、3P-SPIDER を他の確率的前方後方アルゴリズムと数値的に比較し、3P-SPIDER のいくつかの設計パラメーターの役割について説明します。

要約(オリジナル)

This paper introduces a novel algorithm, the Perturbed Proximal Preconditioned SPIDER algorithm (3P-SPIDER), designed to solve finite sum non-convex composite optimization. It is a stochastic Variable Metric Forward-Backward algorithm, which allows approximate preconditioned forward operator and uses a variable metric proximity operator as the backward operator; it also proposes a mini-batch strategy with variance reduction to address the finite sum setting. We show that 3P-SPIDER extends some Stochastic preconditioned Gradient Descent-based algorithms and some Incremental Expectation Maximization algorithms to composite optimization and to the case the forward operator can not be computed in closed form. We also provide an explicit control of convergence in expectation of 3P-SPIDER, and study its complexity in order to satisfy the epsilon-approximate stationary condition. Our results are the first to combine the composite non-convex optimization setting, a variance reduction technique to tackle the finite sum setting by using a minibatch strategy and, to allow deterministic or random approximations of the preconditioned forward operator. Finally, through an application to inference in a logistic regression model with random effects, we numerically compare 3P-SPIDER to other stochastic forward-backward algorithms and discuss the role of some design parameters of 3P-SPIDER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google