PersA-FL: Personalized Asynchronous Federated Learning

要約

私たちは、非同期更新の下でパーソナライズされたフェデレーテッド ラーニングの問題を研究します。
この問題では、各クライアントは、ローカル モデルとグローバル モデルを同時に上回るパーソナライズされたモデルを取得しようとします。
パーソナライゼーションのための 2 つの最適化ベースのフレームワーク、(i) Model-Agnostic Meta-Learning (MAML) と (ii) Moreau Envelope (ME) を検討します。
MAML では、微調整を通じて各クライアントに適応した結合モデルを学習する必要がありますが、ME では、正則化された損失によってパーソナライゼーションを強制するために、暗黙的な勾配を使用した 2 レベルの最適化問題が必要です。
私たちは、同期通信の前提を取り除くことで、パーソナライズされたフェデレーテッド ラーニングのスケーラビリティを向上させることに重点を置いています。
さらに、勾配ノルムに関する有界性の仮定を削除することにより、調査対象の関数クラスを拡張します。
私たちの主な技術的貢献は、MAML および ME パーソナライゼーション フレームワークに適用する、期限付きの古くなった非同期フェデレーテッド ラーニングの統一された証明です。
滑らかな非凸関数クラスについては、一次静止点へのメソッドの収束を示します。
異種データセットに対する分類タスクの実験を通じて、私たちの方法のパフォーマンスとその古さに対する耐性を示します。

要約(オリジナル)

We study the personalized federated learning problem under asynchronous updates. In this problem, each client seeks to obtain a personalized model that simultaneously outperforms local and global models. We consider two optimization-based frameworks for personalization: (i) Model-Agnostic Meta-Learning (MAML) and (ii) Moreau Envelope (ME). MAML involves learning a joint model adapted for each client through fine-tuning, whereas ME requires a bi-level optimization problem with implicit gradients to enforce personalization via regularized losses. We focus on improving the scalability of personalized federated learning by removing the synchronous communication assumption. Moreover, we extend the studied function class by removing boundedness assumptions on the gradient norm. Our main technical contribution is a unified proof for asynchronous federated learning with bounded staleness that we apply to MAML and ME personalization frameworks. For the smooth and non-convex functions class, we show the convergence of our method to a first-order stationary point. We illustrate the performance of our method and its tolerance to staleness through experiments for classification tasks over heterogeneous datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google