Revisiting Weighted Aggregation in Federated Learning with Neural Networks

要約

フェデレーテッド ラーニング (FL) では、ローカル モデルの重み付き集約を実行してグローバル モデルを生成します。集約の重みは正規化され (重みの合計は 1)、ローカル データ サイズに比例します。
このペーパーでは、加重集計プロセスを再検討し、FL のトレーニング ダイナミクスについて新たな洞察を得ることができます。
まず、重みの合計が 1 より小さくなり、全体的な重みの縮小効果 (重みの減衰と同様) が生じ、汎化が改善されることがわかります。
私たちは、最適な縮小率がクライアントのデータの異質性とローカル エポックによってどのような影響を受けるかを調査します。
次に、クライアント間の相対的な集計の重みを調べて、クライアントの重要性を示します。
私たちはクライアントの一貫性を開発して学習ダイナミクスを研究し、存在する重要な点を見つけます。
臨界点に入る前に、より一貫性のあるクライアントが一般化においてより重要な役割を果たします。
上記の洞察に基づいて、学習可能な集約重みを使用したフェデレーテッド ラーニングの効果的な方法 (FedLAW と呼ばれる) を提案します。
広範な実験により、私たちの方法がさまざまなデータセットやモデルで大域モデルの一般化を大幅に改善できることが検証されています。

要約(オリジナル)

In federated learning (FL), weighted aggregation of local models is conducted to generate a global model, and the aggregation weights are normalized (the sum of weights is 1) and proportional to the local data sizes. In this paper, we revisit the weighted aggregation process and gain new insights into the training dynamics of FL. First, we find that the sum of weights can be smaller than 1, causing global weight shrinking effect (analogous to weight decay) and improving generalization. We explore how the optimal shrinking factor is affected by clients’ data heterogeneity and local epochs. Second, we dive into the relative aggregation weights among clients to depict the clients’ importance. We develop client coherence to study the learning dynamics and find a critical point that exists. Before entering the critical point, more coherent clients play more essential roles in generalization. Based on the above insights, we propose an effective method for Federated Learning with Learnable Aggregation Weights, named as FedLAW. Extensive experiments verify that our method can improve the generalization of the global model by a large margin on different datasets and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google