Federated Optimization with Doubly Regularized Drift Correction

要約

フェデレーション ラーニングは、データをローカライズしたまま、分散デバイス間で機械学習モデルをトレーニングできる分散最適化パラダイムです。
標準メソッドである FedAvg はクライアント ドリフトの問題を抱えており、集中型メソッドに比べてパフォーマンスが低下し、通信コストが増加する可能性があります。
これまでの研究ではドリフトを軽減するためのさまざまな戦略が提案されてきましたが、バニラ勾配降下法に比べて通信と計算のトレードオフが均一に改善されることを示したものはありませんでした。
この作業では、分散最適化で確立された手法である DANE を再検討します。
我々は、(i) DANE がヘッシアン類似性制約の下で望ましい通信削減を達成できることを示します。
さらに、(ii) 任意の不正確なローカル ソルバーをサポートし、ローカル更新を集約する方法をより自由に選択できる拡張機能 DANE+ を紹介します。
我々は、(iii) DANE/DANE+ と比較して局所的な計算の複雑さを改善し、同じ通信の複雑さを維持する新しい方法 FedRed を提案します。
これは、二重正則化ドリフト補正を使用することで実現されます。

要約(オリジナル)

Federated learning is a distributed optimization paradigm that allows training machine learning models across decentralized devices while keeping the data localized. The standard method, FedAvg, suffers from client drift which can hamper performance and increase communication costs over centralized methods. Previous works proposed various strategies to mitigate drift, yet none have shown uniformly improved communication-computation trade-offs over vanilla gradient descent. In this work, we revisit DANE, an established method in distributed optimization. We show that (i) DANE can achieve the desired communication reduction under Hessian similarity constraints. Furthermore, (ii) we present an extension, DANE+, which supports arbitrary inexact local solvers and has more freedom to choose how to aggregate the local updates. We propose (iii) a novel method, FedRed, which has improved local computational complexity and retains the same communication complexity compared to DANE/DANE+. This is achieved by using doubly regularized drift correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google