AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation

要約

Federated Learning (FL) では、多数のクライアントまたはデバイスがデータを共有せずに連携してモデルをトレーニングします。
モデルは各クライアントでローカルに最適化され、さらに集約のために中央ハブに送信されます。
FL は魅力的な分散トレーニング パラダイムですが、さまざまなクライアントからのデータ間の異質性により、ローカルな最適化がグローバルな目標から逸脱する可能性があります。
このドリフトを推定して除去するために、分散削減手法が最近 FL 最適化に組み込まれています。
ただし、これらのアプローチはクライアントのドリフトを不正確に推定し、最終的にはそれを適切に除去できません。
この研究では、クライアント間のドリフトを正確に推定する適応アルゴリズムを提案します。
以前の研究と比較して、私たちのアプローチでは必要なストレージと通信帯域幅が少なくなり、コンピューティング コストも削減されます。
さらに、私たちが提案する方法論は、クライアント ドリフトの推定値のノルムを制限することで安定性をもたらし、大規模な FL にとってより実用的になります。
実験結果は、提案されたアルゴリズムがさまざまな FL ベンチマークのベースラインよりも大幅に高速に収束し、高い精度を達成することを示しています。

要約(オリジナル)

In Federated Learning (FL), a number of clients or devices collaborate to train a model without sharing their data. Models are optimized locally at each client and further communicated to a central hub for aggregation. While FL is an appealing decentralized training paradigm, heterogeneity among data from different clients can cause the local optimization to drift away from the global objective. In order to estimate and therefore remove this drift, variance reduction techniques have been incorporated into FL optimization recently. However, these approaches inaccurately estimate the clients’ drift and ultimately fail to remove it properly. In this work, we propose an adaptive algorithm that accurately estimates drift across clients. In comparison to previous works, our approach necessitates less storage and communication bandwidth, as well as lower compute costs. Additionally, our proposed methodology induces stability by constraining the norm of estimates for client drift, making it more practical for large scale FL. Experimental findings demonstrate that the proposed algorithm converges significantly faster and achieves higher accuracy than the baselines across various FL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google