Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems?

要約

タイトル：Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems?

要約：
– 分散最小最大最適化(Decentralized minimax optimization)は、機械学習モデルに広く応用されるため、過去数年間で積極的に研究されている
– しかし、既存の研究は非凸-強く凹の問題にしか注目しておらず、その収束速度についての理論的な理解は不十分である
– 本研究は、非凸-非凹の問題に対する分散最小最大最適化アルゴリズムを開発し、Polyak-Lǒjasiewicz (PL)条件を満たす有限和問題に対する2つの新しい分散確率的変量削減勾配降下昇算法について理論分析を行った
– 特に、我々の理論的解析は、線形収束率を達成するために局所更新を行い、通信を行う方法を示唆している
– 著者らの知る限り、本研究は分散非凸-非凹問題に対する線形収束率を最初に達成した研究である
– 最後に、我々のアルゴリズムの性能を合成および実世界のデータセットで検証した。実験結果は、我々のアルゴリズムの有効性を確認している。

要約(オリジナル)

Decentralized minimax optimization has been actively studied in the past few years due to its application in a wide range of machine learning models. However, the current theoretical understanding of its convergence rate is far from satisfactory since existing works only focus on the nonconvex-strongly-concave problem. This motivates us to study decentralized minimax optimization algorithms for the nonconvex-nonconcave problem. To this end, we develop two novel decentralized stochastic variance-reduced gradient descent ascent algorithms for the finite-sum nonconvex-nonconcave problem that satisfies the Polyak-{\L}ojasiewicz (PL) condition. In particular, our theoretical analyses demonstrate how to conduct local updates and perform communication to achieve the linear convergence rate. To the best of our knowledge, this is the first work achieving linear convergence rates for decentralized nonconvex-nonconcave problems. Finally, we verify the performance of our algorithms on both synthetic and real-world datasets. The experimental results confirm the efficacy of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI