FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization

要約

フェデレーテッド ラーニング (FL) は、多数のクライアントが中央サーバーと連携して、ローカル データを共有せずにモデルをトレーニングする分散学習フレームワークです。
ただし、実際のアプリケーションにおける標準的なフェデレーテッド最適化は、統計的およびシステムの異質性の両方の課題に直面しており、その結果、好ましくない収束動作が発生します。
これまでの研究では、異質性の課題に取り組むためにローカル トレーニング プロセス (クライアント側) を変更することを試みました。
しかし、サーバー側の更新がさまざまなローカル更新を効率的に調整できることは無視されました。
この研究では、異種性の問題に対するサーバー側の更新の効果を調査します。
まず、勾配ダイバーシティ最大化方向の調査結果を紹介します。これは、グローバル モデルが高速かつ安定した収束のためにこの方向に継続的に移動することを示唆しています。
次に、一般的な非凸設定に対する厳密な収束分析を使用して、新しいサーバー側オプティマイザー \textsc{FedAWARE} を導き出します。
4 つのデータセットを使用した複数の異種フェデレーション設定にわたる広範な実験により、 \textsc{FedAWARE} が最先端の適応型フェデレーション オプティマイザーと比較して競争力のある収束パフォーマンスを達成していることがわかりました。
さらに、私たちの結果は、\textsc{FedAWARE} がプラグイン モジュールとして FL アルゴリズムのパフォーマンスを向上できることを示しています。
私たちのソース コードは \url{https://github.com/dunzeng/FedAWARE} で入手できます。

要約(オリジナル)

Federated learning (FL) is a distributed learning framework where numerous clients collaborate with a central server to train a model without sharing local data. However, the standard federated optimization in real-world applications faces both statistical and system heterogeneity challenges, which result in unfavorable convergence behavior. The previous works attempted to modify the local training process (client-side) to tackle heterogeneity challenges. However, they ignored that the updates on the server side can coordinate the diverse local updates efficiently. This work explores the effect of server-side updates against heterogeneity issues. We first introduce the gradient diversity maximization direction findings, suggesting the global model moves continuously in this direction for fast and stable convergence. Then, we derive a novel server-side optimizer \textsc{FedAWARE} with rigorous convergence analysis for general non-convex settings. Our extensive experiments across multiple heterogeneous federated settings using four datasets showcase that \textsc{FedAWARE} achieves competitive convergence performance in comparison to state-of-the-art adaptive federated optimizers. Furthermore, our results show that \textsc{FedAWARE} can enhance the performance of FL algorithms as a plug-in module. Our source code is available at \url{https://github.com/dunzeng/FedAWARE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google