Solving a Class of Non-Convex Minimax Optimization in Federated Learning

要約

ミニマックス問題は、強化学習における敵対的トレーニングやポリシー評価から AUROC 最大化に至るまで、機械学習アプリケーション全体で発生します。
通信効率の高い分散トレーニングを使用して複数のクライアントにわたる大規模なデータの課題に対処するために、フェデレーテッド ラーニング (FL) の人気が高まっています。
ミニマックス問題に対する多くの最適化アルゴリズムは、集中設定 (\emph{i.e.} 単一マシン) で開発されています。
それにもかかわらず、FL におけるミニマックス問題のアルゴリズムはまだ研究されていません。
この論文では、連合非凸ミニマックス最適化問題のクラスを研究します。
私たちは FL アルゴリズム (FedSGDA+ および FedSGDA-M) を提案し、最も一般的なミニマックス問題に対する既存の複雑さの結果を削減します。
非凸凹問題については、FedSGDA+ を提案し、通信の複雑さを $O(\varepsilon^{-6})$ に軽減します。
非凸-強凹および非凸-PL ミニマックス設定の下で、FedSGDA-M が $O(\kappa^{3} N^{-1}\varepsilon^{-3}) の最もよく知られたサンプル複雑度を持つことを証明します。
$ と、最もよく知られている通信の複雑さ $O(\kappa^{2}\varepsilon^{-2})$ です。
FedSGDA-M は、非凸-強凹設定の下で単一マシン法によって達成される最高のサンプル複雑度 $O(\varepsilon^{-3})$ に一致する最初のアルゴリズムです。
公平な分類と AUROC の最大化に関する広範な実験結果は、アルゴリズムの効率性を示しています。

要約(オリジナル)

The minimax problems arise throughout machine learning applications, ranging from adversarial training and policy evaluation in reinforcement learning to AUROC maximization. To address the large-scale data challenges across multiple clients with communication-efficient distributed training, federated learning (FL) is gaining popularity. Many optimization algorithms for minimax problems have been developed in the centralized setting (\emph{i.e.} single-machine). Nonetheless, the algorithm for minimax problems under FL is still underexplored. In this paper, we study a class of federated nonconvex minimax optimization problems. We propose FL algorithms (FedSGDA+ and FedSGDA-M) and reduce existing complexity results for the most common minimax problems. For nonconvex-concave problems, we propose FedSGDA+ and reduce the communication complexity to $O(\varepsilon^{-6})$. Under nonconvex-strongly-concave and nonconvex-PL minimax settings, we prove that FedSGDA-M has the best-known sample complexity of $O(\kappa^{3} N^{-1}\varepsilon^{-3})$ and the best-known communication complexity of $O(\kappa^{2}\varepsilon^{-2})$. FedSGDA-M is the first algorithm to match the best sample complexity $O(\varepsilon^{-3})$ achieved by the single-machine method under the nonconvex-strongly-concave setting. Extensive experimental results on fair classification and AUROC maximization show the efficiency of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google