Improved Generalization Bounds for Communication Efficient Federated Learning

要約

この論文では、一般化限界と表現学習を探ることにより、フェデレーテッド ラーニングのコミュニケーション コストを削減することに焦点を当てています。
まず、ローカルクライアントの一般化とデータ分散の異質性に基づいて、1 ラウンドのフェデレーテッド ラーニングのより厳密な一般化限界を特徴付けます (非 IID シナリオ)。
また、R ラウンド連合学習における汎化限界とローカル更新 (ローカル確率的勾配降下法 (SGD)) の数との関係も特徴付けます。
次に、一般化限界分析とこの分析の表現学習解釈に基づいて、表現エクストラクター (通常は初期層に対応する) の集約の頻度が低くなり、ローカルな更新が増えると、より多くのデータが作成されることを初めて示します。
一般化可能なモデル、特に非 IID シナリオ向け。
私たちは、一般化限界および表現学習分析に基づいて、新しい適応型ローカル ステップによるフェデレーテッド ラーニング (FedALS) アルゴリズムを設計します。
FedALS は、モデルのさまざまな部分にさまざまな集約頻度を採用するため、通信コストが削減されます。
この論文の後には、FedALS の有効性を示す実験結果が続きます。

要約(オリジナル)

This paper focuses on reducing the communication cost of federated learning by exploring generalization bounds and representation learning. We first characterize a tighter generalization bound for one-round federated learning based on local clients’ generalizations and heterogeneity of data distribution (non-iid scenario). We also characterize a generalization bound in R-round federated learning and its relation to the number of local updates (local stochastic gradient descents (SGDs)). Then, based on our generalization bound analysis and our representation learning interpretation of this analysis, we show for the first time that less frequent aggregations, hence more local updates, for the representation extractor (usually corresponds to initial layers) leads to the creation of more generalizable models, particularly for non-iid scenarios. We design a novel Federated Learning with Adaptive Local Steps (FedALS) algorithm based on our generalization bound and representation learning analysis. FedALS employs varying aggregation frequencies for different parts of the model, so reduces the communication cost. The paper is followed with experimental results showing the effectiveness of FedALS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google