Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis

要約

フェデレーテッド ラーニングでは、クライアントがいつでもトレーニングに参加できると想定するのが一般的ですが、実際のユーザー デバイスではそれが実現できない可能性があります。
最近の研究では、周期的なクライアントの可用性や任意の参加など、より現実的な参加パターンの下でフェデレーテッド ラーニングを分析しています。
ただし、そのような作業はすべて、強い仮定を必要とするか (たとえば、すべてのクライアントが境界のあるウィンドウ内でほぼ確実に参加する)、線形の高速化と通信ラウンドの削減が達成されないか、または一般的な非凸設定には適用できません。
この研究では、非凸最適化に焦点を当て、ラウンドの固定ウィンドウにわたる参加の確率がすべてのクライアント間で等しい参加パターンを検討します。これには、特殊なケースとして周期的なクライアントの可用性が含まれます。
この設定の下で、Amplified SCAFFOLD という名前の新しいアルゴリズムを提案し、それが線形の高速化、通信の削減、およびデータの異質性に対する回復力を同時に達成することを証明します。
特に、周期的参加の場合、私たちのアルゴリズムは、非凸確率設定で $\epsilon$ 定常点を見つけるために $\mathcal{O}(\epsilon^{-2})$ 通信ラウンドを楽しむことが証明されています。
対照的に、同じ設定での以前の作業では $\mathcal{O}(\kappa^2 \epsilon^{-4})$ 回の通信ラウンドが必要です。ここで $\kappa$ はデータの異質性を示します。
したがって、私たちのアルゴリズムは、$\epsilon$ と $\kappa$ に関する依存関係が改善されるため、通信ラウンドを大幅に削減します。
私たちの分析は、クライアントの参加と制御変数のエラーの間の入れ子になった依存関係のきめ細かい処理に依存しており、その結果、以前の研究よりも厳密な保証が得られます。
また、多数のクライアント $(N = 250)$ を使用した (1) 合成データと (2) 現実世界のデータによる実験結果も提供し、定期的なクライアントの参加のもとでのアルゴリズムの有効性を実証しています。

要約(オリジナル)

In federated learning, it is common to assume that clients are always available to participate in training, which may not be feasible with user devices in practice. Recent works analyze federated learning under more realistic participation patterns, such as cyclic client availability or arbitrary participation. However, all such works either require strong assumptions (e.g., all clients participate almost surely within a bounded window), do not achieve linear speedup and reduced communication rounds, or are not applicable in the general non-convex setting. In this work, we focus on nonconvex optimization and consider participation patterns in which the chance of participation over a fixed window of rounds is equal among all clients, which includes cyclic client availability as a special case. Under this setting, we propose a new algorithm, named Amplified SCAFFOLD, and prove that it achieves linear speedup, reduced communication, and resilience to data heterogeneity simultaneously. In particular, for cyclic participation, our algorithm is proved to enjoy $\mathcal{O}(\epsilon^{-2})$ communication rounds to find an $\epsilon$-stationary point in the non-convex stochastic setting. In contrast, the prior work under the same setting requires $\mathcal{O}(\kappa^2 \epsilon^{-4})$ communication rounds, where $\kappa$ denotes the data heterogeneity. Therefore, our algorithm significantly reduces communication rounds due to better dependency in terms of $\epsilon$ and $\kappa$. Our analysis relies on a fine-grained treatment of the nested dependence between client participation and errors in the control variates, which results in tighter guarantees than previous work. We also provide experimental results with (1) synthetic data and (2) real-world data with a large number of clients $(N = 250)$, demonstrating the effectiveness of our algorithm under periodic client participation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google