A Simple and Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization

要約

タイトル: 非凸強く凹ミニマックス最適化のためのシンプルで効率的な確率アルゴリズム

要約:
– 本論文は、非凸強く凹ミニマックス問題に対する確率最適化を研究する。
– 著者らは、Decentralized Recursive-gradient descEnt Ascent Method (DREAM) と呼ばれるシンプルで効率的なアルゴリズムを提案する。
– このアルゴリズムは、プライマル関数の $\epsilon$-stationary point を見つけるための、現在知られている最高の理論保証を達成する。
– オンライン設定では、提案手法は $\mathcal{O}(\kappa^3\epsilon^{-3})$ ストキャスティックな一次のオラクル呼び出しと $\mathcal{O}\big(\kappa^2\epsilon^{-2}/\sqrt{1-\lambda_2(W)}\,\big)$ 通信ラウンドを必要とする。
– ここで、$\kappa$は条件数であり、$\lambda_2(W)$はゴシップ行列$W$の2番目に大きい固有値である。
– オフライン設定では、全ての $N$ コンポーネント関数を用いる場合、提案法は $\mathcal{O}\big(\kappa^2 \sqrt{N} \epsilon^{-2}\big)$ ストキャスティックな一次のオラクル呼び出しとオンライン設定と同じ通信量が必要となる。

要約(オリジナル)

This paper studies the stochastic optimization for decentralized nonconvex-strongly-concave minimax problem. We propose a simple and efficient algorithm, called Decentralized Recursive-gradient descEnt Ascent Method (\texttt{DREAM}), which achieves the best-known theoretical guarantee for finding the $\epsilon$-stationary point of the primal function. For the online setting, the proposed method requires $\mathcal{O}(\kappa^3\epsilon^{-3})$ stochastic first-order oracle (SFO) calls and $\mathcal{O}\big(\kappa^2\epsilon^{-2}/\sqrt{1-\lambda_2(W)}\,\big)$ communication rounds to find an $\epsilon$-stationary point, where $\kappa$ is the condition number and $\lambda_2(W)$ is the second-largest eigenvalue of the gossip matrix~$W$. For the offline setting with totally $N$ component functions, the proposed method requires $\mathcal{O}\big(\kappa^2 \sqrt{N} \epsilon^{-2}\big)$ SFO calls and the same communication complexity as the online setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI