Efficient Personalized Federated Learning via Sparse Model-Adaptation

要約

タイトル：効率的な個別化フェデレーテッド学習：スパースモデル適応による

要約：
– フェデレーテッド学習は、個々のデータを共有せずに複数のクライアント用の機械学習モデルをトレーニングするための方法。
– 最近の研究では、クライアントのデータ分布の異質性により、個別化フェデレーテッド学習が探求されており、補助的なグローバルモデルの助けを得て異なるローカルモデルを学習/使用する。
– ただし、クライアントはローカルデータ分布に限らず、計算と通信のリソースにより異種である場合がある。最も低いリソースクライアントによって個別のモデルの能力と効率が制限され、個別化フェデレーテッド学習の限定的な実用性が生じることがある。
– 上記の課題に対応するために、本論文では、pFedGateという新しい手法を提案し、適応的かつ効率的にスパースなローカルモデルを学習することで効率的な個別化フェデレーテッド学習を実現する。
– 軽量な訓練可能なゲーティング層により、pFedGateは、異質なデータ分布とリソース制約に応じて異なるスパースモデルを生成することにより、クライアントがモデル容量の最大値に到達することを可能にする。
– 同時に、モデルのスパース性とクライアントのリソースの適応性により、計算と通信の両方の効率が向上する。
– さらに、理論的に、提案されたpFedGateは収束と汎化エラーにおいて保証された上位の複雑度を持つことを示している。
– 広範な実験により、pFedGateが、既存の方法よりも優れたグローバル精度、個別精度、効率を同時に達成することが示された。新しいクライアント参加シナリオおよび部分クライアント参加シナリオにおいて、pFedGateが競合他社よりも優れた性能を発揮し、異なるデータ分布に適応した有意義なスパースなローカルモデルを学習できることも示された。

要約(オリジナル)

Federated Learning (FL) aims to train machine learning models for multiple clients without sharing their own private data. Due to the heterogeneity of clients’ local data distribution, recent studies explore the personalized FL that learns and deploys distinct local models with the help of auxiliary global models. However, the clients can be heterogeneous in terms of not only local data distribution, but also their computation and communication resources. The capacity and efficiency of personalized models are restricted by the lowest-resource clients, leading to sub-optimal performance and limited practicality of personalized FL. To overcome these challenges, we propose a novel approach named pFedGate for efficient personalized FL by adaptively and efficiently learning sparse local models. With a lightweight trainable gating layer, pFedGate enables clients to reach their full potential in model capacity by generating different sparse models accounting for both the heterogeneous data distributions and resource constraints. Meanwhile, the computation and communication efficiency are both improved thanks to the adaptability between the model sparsity and clients’ resources. Further, we theoretically show that the proposed pFedGate has superior complexity with guaranteed convergence and generalization error. Extensive experiments show that pFedGate achieves superior global accuracy, individual accuracy and efficiency simultaneously over state-of-the-art methods. We also demonstrate that pFedGate performs better than competitors in the novel clients participation and partial clients participation scenarios, and can learn meaningful sparse local models adapted to different data distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI