Delay-Aware Hierarchical Federated Learning

要約

フェデレーテッド ラーニングは、ワイヤレス エッジ全体に分散されたモデルをトレーニングする手段として人気を博しています。
この論文では、エッジとクラウドの間の通信遅延に対処することで、分散型機械学習 (ML) モデルのトレーニングの効率を向上させるために、遅延を認識するフェデレーテッド ラーニング (DFL) を紹介しています。
DFL は、各グローバル集約間隔中にデバイス データセットに対して複数の確率的勾配降下反復を採用し、ローカル サブネットワーク内のエッジ サーバーを介して断続的にモデル パラメーターを集約します。
クラウド サーバーは、ローカル モデルを、グローバル同期でローカル/グローバル コンバイナーを介して計算されたグローバルに展開されたモデルと同期します。
DFL の収束動作は、一般化されたデータの不均一性メトリックの下で理論的に調査されます。
O(1/k)の準線形収束率を達成するための一連の条件が得られます。
これらの調査結果に基づいて、DFL 用の適応制御アルゴリズムが開発され、準線形収束率を目指しながら、エネルギー消費とエッジからクラウドへの通信遅延を軽減するポリシーを実装します。
数値評価は、既存の FL アルゴリズムと比較して、グローバル モデルの収束の高速化、リソース消費の削減、通信遅延に対するロバスト性の点で、DFL の優れたパフォーマンスを示しています。
要約すると、この提案された方法は、凸損失関数と非凸損失関数の両方を処理する場合に、改善された効率と満足のいく結果を提供します。

要約(オリジナル)

Federated learning has gained popularity as a means of training models distributed across the wireless edge. The paper introduces delay-aware federated learning (DFL) to improve the efficiency of distributed machine learning (ML) model training by addressing communication delays between edge and cloud. DFL employs multiple stochastic gradient descent iterations on device datasets during each global aggregation interval and intermittently aggregates model parameters through edge servers in local subnetworks. The cloud server synchronizes the local models with the global deployed model computed via a local-global combiner at global synchronization. The convergence behavior of DFL is theoretically investigated under a generalized data heterogeneity metric. A set of conditions is obtained to achieve the sub-linear convergence rate of O(1/k). Based on these findings, an adaptive control algorithm is developed for DFL, implementing policies to mitigate energy consumption and edge-to-cloud communication latency while aiming for a sublinear convergence rate. Numerical evaluations show DFL’s superior performance in terms of faster global model convergence, reduced resource consumption, and robustness against communication delays compared to existing FL algorithms. In summary, this proposed method offers improved efficiency and satisfactory results when dealing with both convex and non-convex loss functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google