Hierarchical Federated ADMM

要約

この論文では、広く使用されている勾配降下法ベースの階層連合学習 (FL) アルゴリズムから離れ、乗算器の交互方向法 (ADMM) に基づく新しい階層型 FL フレームワークを開発します。
このフレームワーク内で、我々は 2 つの新しい FL アルゴリズムを提案します。どちらも最上層で ADMM を使用します。1 つは下位層で ADMM を使用し、もう 1 つは従来の勾配降下ベースのアプローチを使用します。
提案されたフレームワークはプライバシーを強化し、実験により、学習の収束性と精度の点で従来のアルゴリズムと比較して提案されたアルゴリズムの優位性が実証されました。
さらに、下位層の勾配降下法は、ローカル ステップの数が非常に限られている場合でも良好なパフォーマンスを発揮しますが、それ以外の場合は、両方の層の ADMM がパフォーマンスの向上につながります。

要約(オリジナル)

In this paper, we depart from the widely-used gradient descent-based hierarchical federated learning (FL) algorithms to develop a novel hierarchical FL framework based on the alternating direction method of multipliers (ADMM). Within this framework, we propose two novel FL algorithms, which both use ADMM in the top layer: one that employs ADMM in the lower layer and another that uses the conventional gradient descent-based approach. The proposed framework enhances privacy, and experiments demonstrate the superiority of the proposed algorithms compared to the conventional algorithms in terms of learning convergence and accuracy. Additionally, gradient descent on the lower layer performs well even if the number of local steps is very limited, while ADMM on both layers lead to better performance otherwise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google