More Communication Does Not Result in Smaller Generalization Error in Federated Learning

要約

本研究では、Federated Learning (FL)環境における統計的学習モデルの一般化誤差を研究する。具体的には、$K$台のデバイスやクライアントが存在し、それぞれが$n$サイズの独立したデータセットを保持している。個々のモデルは局所的に確率的勾配降下法で学習され、中央サーバによってグローバルモデルに集約（平均化）され、各デバイスに送り返される。このとき、複数回（例えばR回）のモデル集約を考え、最終的に集約されるモデルの汎化誤差に及ぼすR$の影響を研究する。参加機器数$K$とデータセットサイズ$n$に加えて、$R$の効果を明示的に考慮した汎化誤差の上界を確立する。その結果、$(n, K)$を固定した場合、$R$と共に上限値が増加することが確認され、このような学習アルゴリズムの汎化は、パラメータサーバとの通信頻度が高くなると悪影響を受けることが示唆された。しかし、経験的リスクは、一般に$R$の値が大きいほど減少するという事実と組み合わせると、$R$はFLアルゴリズムの人口リスクを減らすために最適化すべきパラメータである可能性があることが示される。本論文の結果は、異種データ設定にもストレートに拡張され、数値例を通じて説明される。

要約(オリジナル)

We study the generalization error of statistical learning models in a Federated Learning (FL) setting. Specifically, there are $K$ devices or clients, each holding an independent own dataset of size $n$. Individual models, learned locally via Stochastic Gradient Descent, are aggregated (averaged) by a central server into a global model and then sent back to the devices. We consider multiple (say $R \in \mathbb N^*$) rounds of model aggregation and study the effect of $R$ on the generalization error of the final aggregated model. We establish an upper bound on the generalization error that accounts explicitly for the effect of $R$ (in addition to the number of participating devices $K$ and dataset size $n$). It is observed that, for fixed $(n, K)$, the bound increases with $R$, suggesting that the generalization of such learning algorithms is negatively affected by more frequent communication with the parameter server. Combined with the fact that the empirical risk, however, generally decreases for larger values of $R$, this indicates that $R$ might be a parameter to optimize to reduce the population risk of FL algorithms. The results of this paper, which extend straightforwardly to the heterogeneous data setting, are also illustrated through numerical examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL