Preconditioned Federated Learning

要約

Federated Learning (FL) は、効率的な通信とプライバシーを保護した方法でのモデル トレーニングを可能にする分散機械学習アプローチです。
FL の標準的な最適化方法は Federated Averaging (FedAvg) で、通信ラウンド間で複数のローカル SGD ステップを実行します。
FedAvg は、最新の一次適応最適化と比較して、アルゴリズムの適応性に欠けると考えられてきました。
この論文では、ローカル適応性 (PreFed) とサーバー側適応性 (PreFedOp) という 2 つの適応フレームワークに基づいた、通信効率の高い新しい FL アルゴリズムを提案します。
提案された手法は、新しい共分散行列プレコンディショナーを使用することで適応性を採用します。
理論的には、アルゴリズムの収束保証を提供します。
実証実験は、私たちの方法が i.i.d. と i.i.d. の両方で最先端のパフォーマンスを達成することを示しています。
そして非ID。
設定。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning approach that enables model training in communication efficient and privacy-preserving manner. The standard optimization method in FL is Federated Averaging (FedAvg), which performs multiple local SGD steps between communication rounds. FedAvg has been considered to lack algorithm adaptivity compared to modern first-order adaptive optimizations. In this paper, we propose new communication-efficient FL algortithms based on two adaptive frameworks: local adaptivity (PreFed) and server-side adaptivity (PreFedOp). Proposed methods adopt adaptivity by using a novel covariance matrix preconditioner. Theoretically, we provide convergence guarantees for our algorithms. The empirical experiments show our methods achieve state-of-the-art performances on both i.i.d. and non-i.i.d. settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google