FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning

要約

Federated Learning (FL) は共同トレーニング フレームワークを提供し、複数のクライアントがデータ プライバシーを損なうことなく共有モデルに貢献できるようにします。
ローカル データセットの異質な性質により、更新されたクライアント モデルが過剰適合して互いに乖離する可能性があり、これは一般にクライアント ドリフトの問題として知られています。
このペーパーでは、クライアント ドリフトを効果的に軽減するように設計された新しい FL フレームワークである FedBug (Federated Learning with Bottom-Up Gradual Unfreezing) を提案します。
FedBug は、各グローバル ラウンドでサーバーによって配布されたクライアント モデル パラメータを、クライアント間調整の基準点として適応的に利用します。
具体的には、クライアント側で、FedBug はモデル全体をフリーズすることから始め、次に入力層から出力層まで層を徐々にフリーズ解除します。
このボトムアップ アプローチにより、モデルが新たに解凍されたレイヤーをトレーニングして潜在空間にデータを投影できるようになり、分離超平面はすべてのクライアントにわたって一貫したままになります。
新しいオーバーパラメータ化 FL セットアップで FedBug を理論的に分析し、FedAvg と比較して優れた収束率を明らかにしました。
さまざまなデータセット、トレーニング条件、ネットワーク アーキテクチャにわたる包括的な実験を通じて、FedBug の有効性を検証します。
私たちの貢献には、新しい FL フレームワーク、理論分析、実証的検証が含まれており、FedBug の幅広い可能性と適用可能性を実証しています。

要約(オリジナル)

Federated Learning (FL) offers a collaborative training framework, allowing multiple clients to contribute to a shared model without compromising data privacy. Due to the heterogeneous nature of local datasets, updated client models may overfit and diverge from one another, commonly known as the problem of client drift. In this paper, we propose FedBug (Federated Learning with Bottom-Up Gradual Unfreezing), a novel FL framework designed to effectively mitigate client drift. FedBug adaptively leverages the client model parameters, distributed by the server at each global round, as the reference points for cross-client alignment. Specifically, on the client side, FedBug begins by freezing the entire model, then gradually unfreezes the layers, from the input layer to the output layer. This bottom-up approach allows models to train the newly thawed layers to project data into a latent space, wherein the separating hyperplanes remain consistent across all clients. We theoretically analyze FedBug in a novel over-parameterization FL setup, revealing its superior convergence rate compared to FedAvg. Through comprehensive experiments, spanning various datasets, training conditions, and network architectures, we validate the efficacy of FedBug. Our contributions encompass a novel FL framework, theoretical analysis, and empirical validation, demonstrating the wide potential and applicability of FedBug.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google