Personalized Federated Learning under Model Dissimilarity Constraints

要約

連合学習における決定的な課題の1つは、クライアント間の統計的不均一性の課題です。
この問題には、パーソナライズされたフェデレーション学習のための正規化された戦略であるカルラに対処します。これは、フェデレート設定に適応された1ワセルスタイン距離の代理で測定されるように、分布の違いに基づいてクライアント間のペアワイズモデルの非類似性を制約します。
これにより、戦略はクライアント間の非常に複雑な相互関係に適応することができます。たとえば、クラスター化されたアプローチがキャプチャできません。
不正確な投影確率的勾配アルゴリズムを提案して、戦略が定義する制約された問題を解決し、速度O（1/k）の静止ポイントの近隣に滑らかで非凸損失と収束することを理論的に示します。
合成および実際のフェデレーションデータセットに対するカルラの有効性を実証します。

要約(オリジナル)

One of the defining challenges in federated learning is that of statistical heterogeneity among clients. We address this problem with KARULA, a regularized strategy for personalized federated learning, which constrains the pairwise model dissimilarities between clients based on the difference in their distributions, as measured by a surrogate for the 1-Wasserstein distance adapted for the federated setting. This allows the strategy to adapt to highly complex interrelations between clients, that e.g., clustered approaches fail to capture. We propose an inexact projected stochastic gradient algorithm to solve the constrained problem that the strategy defines, and show theoretically that it converges with smooth, possibly non-convex losses to a neighborhood of a stationary point with rate O(1/K). We demonstrate the effectiveness of KARULA on synthetic and real federated data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google