A One-Sample Decentralized Proximal Algorithm for Non-Convex Stochastic Composite Optimization

要約

私たちは、$n$ エージェントが連携して、平滑項と非平滑凸項の合計である複合目的関数を最適化する分散確率的非凸最適化に焦点を当てます。
この問題を解決するために、Prox-DASA と Prox-DASA-GT という 2 つの単一時間スケール アルゴリズムを提案します。
これらのアルゴリズムは、一定のバッチ サイズ (つまり、 $\mathcal{O}(1
)$)。
以前の研究とは異なり、私たちのアルゴリズムは、大きなバッチ サイズ、より複雑な反復ごとの操作 (二重ループなど)、またはより強力な仮定を必要とせずに、同等の複雑さを実現します。
私たちの理論的発見は広範な数値実験によって裏付けられており、これは私たちのアルゴリズムが以前のアプローチよりも優れていることを示しています。
私たちのコードは https://github.com/xuxingc/ProxDASA で入手できます。

要約(オリジナル)

We focus on decentralized stochastic non-convex optimization, where $n$ agents work together to optimize a composite objective function which is a sum of a smooth term and a non-smooth convex term. To solve this problem, we propose two single-time scale algorithms: Prox-DASA and Prox-DASA-GT. These algorithms can find $\epsilon$-stationary points in $\mathcal{O}(n^{-1}\epsilon^{-2})$ iterations using constant batch sizes (i.e., $\mathcal{O}(1)$). Unlike prior work, our algorithms achieve comparable complexity without requiring large batch sizes, more complex per-iteration operations (such as double loops), or stronger assumptions. Our theoretical findings are supported by extensive numerical experiments, which demonstrate the superiority of our algorithms over previous approaches. Our code is available at https://github.com/xuxingc/ProxDASA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google