Momentum Approximation in Asynchronous Private Federated Learning

要約

非同期プロトコルは、膨大な数のクライアントによるフェデレーテッド ラーニング (FL) のスケーラビリティを向上させることが示されています。
一方、運動量ベースの手法では、同期 FL で最高のモデル品質を達成できます。
ただし、非同期 FL アルゴリズムに単純に勢いを適用すると、収束が遅くなり、モデルのパフォーマンスが低下します。
これら 2 つの手法を効果的に組み合わせて双方に利益をもたらす方法はまだ不明です。
この論文では、非同期によって運動量の更新に暗黙のバイアスが生じることがわかりました。
この問題に対処するために、すべての履歴モデル更新の最適な加重平均を見つけることによってバイアスを最小限に抑える運動量近似を提案します。
モメンタム近似は、安全なアグリゲーションおよび差分プライバシーと互換性があり、わずかな通信コストとストレージ コストで運用 FL システムに簡単に統合できます。
ベンチマーク FL データセットでは、モーメンタム近似により、モーメンタムを使用した既存の非同期 FL オプティマイザーと比較して、収束速度が $1.15 \textrm{–}4\times$ 向上することが実証されています。

要約(オリジナル)

Asynchronous protocols have been shown to improve the scalability of federated learning (FL) with a massive number of clients. Meanwhile, momentum-based methods can achieve the best model quality in synchronous FL. However, naively applying momentum in asynchronous FL algorithms leads to slower convergence and degraded model performance. It is still unclear how to effective combinie these two techniques together to achieve a win-win. In this paper, we find that asynchrony introduces implicit bias to momentum updates. In order to address this problem, we propose momentum approximation that minimizes the bias by finding an optimal weighted average of all historical model updates. Momentum approximation is compatible with secure aggregation as well as differential privacy, and can be easily integrated in production FL systems with a minor communication and storage cost. We empirically demonstrate that on benchmark FL datasets, momentum approximation can achieve $1.15 \textrm{–}4\times$ speed up in convergence compared to existing asynchronous FL optimizers with momentum.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google