PeFLL: Personalized Federated Learning by Learning to Learn

要約

私たちは、次の 3 つの側面で最先端よりも改善された、新しいパーソナライズされたフェデレーテッド ラーニング アルゴリズムである PeFLL を紹介します。 1) トレーニング中に存在するクライアントだけでなく、特に低データ領域において、より正確なモデルを生成します。
フェーズだけでなく、将来出現する可能性のあるフェーズも対象となります。
2) 追加の微調整や最適化を必要としない、すぐに使用できるパーソナライズされたモデルを将来のクライアントに提供することで、クライアント上の計算量とクライアントとサーバー間の通信の量を削減します。
3) 観察されたクライアントから将来のクライアントへの一般化を確立する理論的な保証が付属しています。
PeFLL の中核には、組み込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習のアプローチがあります。
埋め込みネットワークは、クライアント間の類似性を反映する方法で潜在記述子空間内のクライアントを表すために使用されます。
ハイパーネットワークは、そのような記述子を入力として受け取り、完全にパーソナライズされたクライアント モデルのパラメーターを出力します。
両方のネットワークを組み合わせることで、いくつかのパーソナライズされたフェデレーテッド ラーニング ベンチマークで最先端のパフォーマンスを達成する学習アルゴリズムを構成します。

要約(オリジナル)

We present PeFLL, a new personalized federated learning algorithm that improves over the state-of-the-art in three aspects: 1) it produces more accurate models, especially in the low-data regime, and not only for clients present during its training phase, but also for any that may emerge in the future; 2) it reduces the amount of on-client computation and client-server communication by providing future clients with ready-to-use personalized models that require no additional finetuning or optimization; 3) it comes with theoretical guarantees that establish generalization from the observed clients to future ones. At the core of PeFLL lies a learning-to-learn approach that jointly trains an embedding network and a hypernetwork. The embedding network is used to represent clients in a latent descriptor space in a way that reflects their similarity to each other. The hypernetwork takes as input such descriptors and outputs the parameters of fully personalized client models. In combination, both networks constitute a learning algorithm that achieves state-of-the-art performance in several personalized federated learning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google