The Effect of Personalization in FedProx: A Fine-grained Analysis on Statistical Accuracy and Communication Efficiency

要約

FedProx は、正則化によるモデルのパーソナライゼーションを可能にする、シンプルかつ効果的なフェデレーテッド ラーニング手法です。
実際には目覚ましい成功を収めているにもかかわらず、このような正則化によって各クライアントのローカル モデルの統計的精度がどのように向上するのかについての厳密な分析は完全には確立されていません。
正則化の強度をヒューリスティックに設定することにはリスクがあり、不適切な選択は精度を低下させる可能性もあります。
この研究では、統計的精度に対する正則化の影響を分析することでギャップを埋め、パーソナライゼーションを実現するための正則化の強度を設定するための理論的なガイドラインを提供します。
さまざまな統計的不均一性の下で正則化の強度を適応的に選択することにより、FedProx は一貫して純粋なローカル トレーニングを上回り、最小最適に近い統計レートを達成できることを証明します。
さらに、リソース割り当てを明らかにするために、アルゴリズムを設計し、より強力なパーソナライゼーションにより、計算コストのオーバーヘッドを増加させることなく通信の複雑性が軽減されることを実証しました。
最後に、私たちの理論は合成データセットと現実世界のデータセットの両方で検証され、その一般化可能性が非凸設定で検証されます。

要約(オリジナル)

FedProx is a simple yet effective federated learning method that enables model personalization via regularization. Despite remarkable success in practice, a rigorous analysis of how such a regularization provably improves the statistical accuracy of each client’s local model hasn’t been fully established. Setting the regularization strength heuristically presents a risk, as an inappropriate choice may even degrade accuracy. This work fills in the gap by analyzing the effect of regularization on statistical accuracy, thereby providing a theoretical guideline for setting the regularization strength for achieving personalization. We prove that by adaptively choosing the regularization strength under different statistical heterogeneity, FedProx can consistently outperform pure local training and achieve a nearly minimax-optimal statistical rate. In addition, to shed light on resource allocation, we design an algorithm, provably showing that stronger personalization reduces communication complexity without increasing the computation cost overhead. Finally, our theory is validated on both synthetic and real-world datasets and its generalizability is verified in a non-convex setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google