FedGiA: An Efficient Hybrid Algorithm for Federated Learning

要約

フェデレーテッド ラーニングは最近進歩を見せていますが、アルゴリズムがどのように通信リソースを節約して計算コストを削減するか、アルゴリズムが収束するかどうかなど、依然として多くの課題に直面しています。
これらの重要な問題に対処するために、勾配降下法と乗算器の不正確な交互方向法を組み合わせたハイブリッド連合学習アルゴリズム (FedGiA) を提案します。
提案されたアルゴリズムは、理論的にも数値的にも、いくつかの最先端のアルゴリズムよりも通信効率と計算効率が優れています。
さらに、穏やかな条件下では全球的に収束します。

要約(オリジナル)

Federated learning has shown its advances recently but is still facing many challenges, such as how algorithms save communication resources and reduce computational costs, and whether they converge. To address these critical issues, we propose a hybrid federated learning algorithm (FedGiA) that combines the gradient descent and the inexact alternating direction method of multipliers. The proposed algorithm is more communication- and computation-efficient than several state-of-the-art algorithms theoretically and numerically. Moreover, it also converges globally under mild conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google