Sharp Bounds for Sequential Federated Learning on Heterogeneous Data

要約

フェデレーションラーニング（FL）には2つのパラダイムがあります。並列FL（PFL）。モデルはクライアント間で並行してトレーニングされ、シーケンシャルFL（SFL）があり、モデルがクライアント間で順次トレーニングされます。
具体的には、PFLでは、クライアントは独立してローカル更新を実行し、更新されたモデルパラメーターを集約のためにグローバルサーバーに送信します。
SFLでは、1人のクライアントが、シーケンスで前のクライアントからモデルパラメーターを受信した後にのみローカル更新を開始します。
PFLのそれとは対照的に、不均一なデータ上のSFLの収束理論はまだ不足しています。
SFLの理論的ジレンマを解決するために、上限と下限の両方で不均一なデータでSFLの鋭い収束保証を確立します。
具体的には、強く凸状、一般的な凸、および非凸目の対物的関数の上限を導き出し、強く凸型および一般的な凸目的関数の一致する下限を構築します。
次に、SFLの上限をPFLの上限と比較し、SFLが不均一データでPFLを上回ることを示しています（少なくとも、不均一性のレベルが比較的高い場合）。
実験結果は、直感に反する理論的発見を検証します。

要約(オリジナル)

There are two paradigms in Federated Learning (FL): parallel FL (PFL), where models are trained in a parallel manner across clients, and sequential FL (SFL), where models are trained in a sequential manner across clients. Specifically, in PFL, clients perform local updates independently and send the updated model parameters to a global server for aggregation; in SFL, one client starts its local updates only after receiving the model parameters from the previous client in the sequence. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. To resolve the theoretical dilemma of SFL, we establish sharp convergence guarantees for SFL on heterogeneous data with both upper and lower bounds. Specifically, we derive the upper bounds for the strongly convex, general convex and non-convex objective functions, and construct the matching lower bounds for the strongly convex and general convex objective functions. Then, we compare the upper bounds of SFL with those of PFL, showing that SFL outperforms PFL on heterogeneous data (at least, when the level of heterogeneity is relatively high). Experimental results validate the counterintuitive theoretical finding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google