FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning

要約

フェデレーション ラーニング (FL) は、プライバシーを維持しながら分散データから学習するための有望なフレームワークです。
効率的な FL アルゴリズムの開発は、異種データとシステム、通信容量の制限、ローカルの計算リソースの制約など、さまざまな課題に直面します。
最近開発された FedADMM メソッドは、データとシステムの異質性の両方に対して優れた回復力を示します。
ただし、ハイパーパラメータを注意深く調整しないと、依然としてパフォーマンスの低下に悩まされます。
この問題に対処するために、FedADMM-InSa と呼ばれる不正確で自己適応的な FedADMM アルゴリズムを提案します。
まず、ローカル トレーニングの精度を経験的に設定する必要性を排除するために、クライアントのローカル更新の不正確さの基準を設計します。
この不正確さの基準は、各クライアントがその固有の条件に基づいて独立して評価できるため、局所的な計算コストが削減され、望ましくない分散効果が軽減されます。
結果として生じる不正確な ADMM の収束は、強く凸の損失関数の仮定の下で証明されます。
さらに、各クライアントのペナルティ パラメータを動的に調整する自己適応スキームを提示し、各クライアントに対する経験的なペナルティ パラメータ選択の必要性を軽減することでアルゴリズムの堅牢性を強化します。
合成データセットと現実世界のデータセットの両方で広範な数値実験が行われます。
いくつかの数値テストによって検証されたように、私たちが提案するアルゴリズムは、クライアントのローカル計算負荷を大幅に軽減し、標準的な FedADMM と比較して学習プロセスを高速化することもできます。

要約(オリジナル)

Federated learning (FL) is a promising framework for learning from distributed data while maintaining privacy. The development of efficient FL algorithms encounters various challenges, including heterogeneous data and systems, limited communication capacities, and constrained local computational resources. Recently developed FedADMM methods show great resilience to both data and system heterogeneity. However, they still suffer from performance deterioration if the hyperparameters are not carefully tuned. To address this issue, we propose an inexact and self-adaptive FedADMM algorithm, termed FedADMM-InSa. First, we design an inexactness criterion for the clients’ local updates to eliminate the need for empirically setting the local training accuracy. This inexactness criterion can be assessed by each client independently based on its unique condition, thereby reducing the local computational cost and mitigating the undesirable straggle effect. The convergence of the resulting inexact ADMM is proved under the assumption of strongly convex loss functions. Additionally, we present a self-adaptive scheme that dynamically adjusts each client’s penalty parameter, enhancing algorithm robustness by mitigating the need for empirical penalty parameter choices for each client. Extensive numerical experiments on both synthetic and real-world datasets are conducted. As validated by some numerical tests, our proposed algorithm can reduce the clients’ local computational load significantly and also accelerate the learning process compared to the vanilla FedADMM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google