Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data

要約

データの異質性は、Federated Learning のパフォーマンスにおける大きな課題です。
最近、運動量ベースの最適化手法が異質性の問題を軽減するのに効果的であることが証明されました。
モデルの更新とともに、運動量の更新がサーバー側に送信され、集約されます。
したがって、グローバルな運動量で初期化されたローカル トレーニングは、勾配のグローバルな履歴によって導かれます。
ただし、Federated Learning システムでは最適ではない従来の運動量の累積に問題があることがわかりました。
運動量は、過去の勾配よりも最近の勾配を重視していました。
ただし、これにより、ローカル トレーニングの最後には、より偏ったローカル勾配が発生します。
この研究では、ローカル初期化で使用される推定運動量を計算する新しい方法を提案します。
提案された手法は、Reversed Momentum Federated Learning (RMFL) と呼ばれます。
重要なアイデアは、時間の経過とともに指数関数的に減衰する重みを勾配に割り当てることであり、これは従来の運動量の累積とは対照的です。
RMFL の有効性は、異質性レベルが異なる 3 つの一般的なベンチマーク データセットで評価されます。

要約(オリジナル)

Data Heterogeneity is a major challenge of Federated Learning performance. Recently, momentum based optimization techniques have beed proved to be effective in mitigating the heterogeneity issue. Along with the model updates, the momentum updates are transmitted to the server side and aggregated. Therefore, the local training initialized with a global momentum is guided by the global history of the gradients. However, we spot a problem in the traditional cumulation of the momentum which is suboptimal in the Federated Learning systems. The momentum used to weight less on the historical gradients and more on the recent gradients. This however, will engage more biased local gradients in the end of the local training. In this work, we propose a new way to calculate the estimated momentum used in local initialization. The proposed method is named as Reversed Momentum Federated Learning (RMFL). The key idea is to assign exponentially decayed weights to the gradients with the time going forward, which is on the contrary to the traditional momentum cumulation. The effectiveness of RMFL is evaluated on three popular benchmark datasets with different heterogeneity levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google