PGFed: Personalize Each Client’s Global Objective for Federated Learning

要約

パーソナライズされたフェデレーテッド ラーニングは、異種データに対する従来のフェデレーテッド ラーニング (FL) のパフォーマンスが平凡であるため、急速に注目を集めています。
単一のグローバルコンセンサスモデルをトレーニングする従来の FL とは異なり、パーソナライズされた FL では、クライアントごとに異なるモデルが可能になります。
ただし、既存のパーソナライズされた FL アルゴリズムは、集合モデルまたは正則化に知識を埋め込むことによって、フェデレーション全体に共同知識を暗黙的に転送するだけです。
私たちは、この暗黙的な知識の伝達が、各クライアントの他のクライアントに対する経験的リスクの可能性を最大化できないことを観察しました。
私たちの観察に基づいて、この研究では、パーソナライズされたグローバルフェデレーテッドラーニング（PGFed）を提案します。これは、各クライアントが自分自身と他のクライアントの経験的リスクを明示的かつ適応的に集約することによって、独自のグローバル目標をパーソナライズできるようにする新しいパーソナライズされたFLフレームワークです。
これを達成しながら、膨大な (O(N^2)) 通信オーバーヘッドと潜在的なプライバシー漏洩を回避するために、各クライアントのリスクは、他のクライアントの適応リスク集約の一次近似によって推定されます。
PGFed に加えて、クライアントの経験的リスクをより効率的に利用するために、PGFedMo と呼ばれるモメンタム アップグレードを開発しています。
異なるフェデレーション設定での 4 つのデータセットに対する広範な実験により、以前の最先端の方法と比較して PGFed が一貫して向上していることが示されています。
コードは https://github.com/ljaiverson/pgfed で公開されています。

要約(オリジナル)

Personalized federated learning has received an upsurge of attention due to the mediocre performance of conventional federated learning (FL) over heterogeneous data. Unlike conventional FL which trains a single global consensus model, personalized FL allows different models for different clients. However, existing personalized FL algorithms only implicitly transfer the collaborative knowledge across the federation by embedding the knowledge into the aggregated model or regularization. We observed that this implicit knowledge transfer fails to maximize the potential of each client’s empirical risk toward other clients. Based on our observation, in this work, we propose Personalized Global Federated Learning (PGFed), a novel personalized FL framework that enables each client to personalize its own global objective by explicitly and adaptively aggregating the empirical risks of itself and other clients. To avoid massive (O(N^2)) communication overhead and potential privacy leakage while achieving this, each client’s risk is estimated through a first-order approximation for other clients’ adaptive risk aggregation. On top of PGFed, we develop a momentum upgrade, dubbed PGFedMo, to more efficiently utilize clients’ empirical risks. Our extensive experiments on four datasets under different federated settings show consistent improvements of PGFed over previous state-of-the-art methods. The code is publicly available at https://github.com/ljaiverson/pgfed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google