On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond

要約

統合平均 (FedAvg) は、統合学習 (FL) の最も基本的なアルゴリズムです。
以前の理論的結果は、FedAvg の収束と一般化が異種クライアントの下では退化すると主張しています。
ただし、最近の実証結果では、FedAvg が現実世界の多くの異種タスクで良好にパフォーマンスできることが示されています。
これらの結果は、FL の理論と実践の間の矛盾が完全には説明されていないことを明らかにしています。
この論文では、厳密な収束分析に基づいて、一般的な異質性の尺度がこの不一致に寄与していることを示します。
さらに、新しい尺度 \textit{クライアントのコンセンサスダイナミクス} を導入し、\textit{適切な集約戦略が使用される場合、FedAvg はクライアントの異質性を効果的に処理できる}ことを証明します。
この理論的な洞察に基づいて、FedAWARE と呼ばれるシンプルで効果的な FedAvg の亜種を紹介します。
3 つのデータセットと 2 つの最新のニューラル ネットワーク アーキテクチャに関する広範な実験により、FedAWARE が異種クライアント設定におけるより高速な収束とより優れた一般化を保証することが実証されました。
さらに、我々の結果は、FedAWARE をプラグイン モジュールとして使用すると、高度な FL アルゴリズムの汎化パフォーマンスを大幅に向上できることを示しています。

要約(オリジナル)

Federated averaging (FedAvg) is the most fundamental algorithm in Federated learning (FL). Previous theoretical results assert that FedAvg convergence and generalization degenerate under heterogeneous clients. However, recent empirical results show that FedAvg can perform well in many real-world heterogeneous tasks. These results reveal an inconsistency between FL theory and practice that is not fully explained. In this paper, we show that common heterogeneity measures contribute to this inconsistency based on rigorous convergence analysis. Furthermore, we introduce a new measure \textit{client consensus dynamics} and prove that \textit{FedAvg can effectively handle client heterogeneity when an appropriate aggregation strategy is used}. Building on this theoretical insight, we present a simple and effective FedAvg variant termed FedAWARE. Extensive experiments on three datasets and two modern neural network architectures demonstrate that FedAWARE ensures faster convergence and better generalization in heterogeneous client settings. Moreover, our results show that FedAWARE can significantly enhance the generalization performance of advanced FL algorithms when used as a plug-in module.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google