Decentralized Personalized Federated Learning for Min-Max Problems

要約

Personalized Federated Learning (PFL) は目覚ましい進歩を遂げ、トレーニング データのプライバシーを保護する革新的な機械学習アプリケーションの開発を可能にしました。
ただし、この分野の既存の理論研究は主に最小化問題の分散最適化に焦点を当ててきました。
この論文は、最小化問題を解くだけでなく、より広範囲の最適化問題を含む鞍点問題の PFL を研究した最初の論文です。
この研究では、混合目的関数を使用した最近提案された PFL 設定、つまりグローバル モデルの学習とローカルに分散された学習器を組み合わせたアプローチを検討します。
集中設定のみを考慮したこれまでのほとんどの作業とは異なり、私たちは、デバイスをネットワークに接続するためのより実用的でフェデレーションされた方法を設計および分析できる、より一般的で分散型の設定で作業します。
我々は、この問題に対処し、確率論的および決定論的な場合における滑らかな（強い）凸-（強い）凹鞍点問題の理論的分析を提供する新しいアルゴリズムを提案しました。
双線形問題と敵対的ノイズを伴うニューラル ネットワークの数値実験により、提案された方法の有効性が実証されます。

要約(オリジナル)

Personalized Federated Learning (PFL) has witnessed remarkable advancements, enabling the development of innovative machine learning applications that preserve the privacy of training data. However, existing theoretical research in this field has primarily focused on distributed optimization for minimization problems. This paper is the first to study PFL for saddle point problems encompassing a broader range of optimization problems, that require more than just solving minimization problems. In this work, we consider a recently proposed PFL setting with the mixing objective function, an approach combining the learning of a global model together with locally distributed learners. Unlike most previous work, which considered only the centralized setting, we work in a more general and decentralized setup that allows us to design and analyze more practical and federated ways to connect devices to the network. We proposed new algorithms to address this problem and provide a theoretical analysis of the smooth (strongly) convex-(strongly) concave saddle point problems in stochastic and deterministic cases. Numerical experiments for bilinear problems and neural networks with adversarial noise demonstrate the effectiveness of the proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google