Heterogeneity-Aware Cooperative Federated Edge Learning with Adaptive Computation and Communication Compression

要約

クラウドベースのフェデレーテッド ラーニング (FL) の欠点を動機として、モバイル エッジ ネットワーク上の FL の効率を向上させるために、協調フェデレーテッド エッジ ラーニング (CFEL) が提案されています。この方法では、複数のエッジ サーバーが多数のエッジにわたる分散モデル トレーニングを共同で調整します。
デバイス。
ただし、CFEL は、動的な異種デバイスの特性から生じる重大な課題に直面しており、これによりコンバージェンスが遅くなり、リソース消費が増加します。
この論文では、\textit{Heterogeneity-Aware Cooperative Edge-based Federated Averaging} (HCEF) と呼ばれる異質性を認識した CFEL スキームを提案します。これは、CFEL での適応計算と通信圧縮により、トレーニング時間とエネルギー消費を最小限に抑えながら、モデルの精度を最大化することを目的としています。
ローカル更新頻度と勾配圧縮が CFEL の収束誤差限界にどのような影響を与えるかを理論的に分析することで、異種デバイスのローカル更新頻度と圧縮率を動的に決定する HCEF 用の効率的なオンライン制御アルゴリズムを開発します。
実験結果は、従来のスキームと比較して、提案された HCEF スキームがより高いモデル精度を維持しながら、トレーニングの待ち時間を短縮し、エネルギー効率を同時に改善できることを示しています。

要約(オリジナル)

Motivated by the drawbacks of cloud-based federated learning (FL), cooperative federated edge learning (CFEL) has been proposed to improve efficiency for FL over mobile edge networks, where multiple edge servers collaboratively coordinate the distributed model training across a large number of edge devices. However, CFEL faces critical challenges arising from dynamic and heterogeneous device properties, which slow down the convergence and increase resource consumption. This paper proposes a heterogeneity-aware CFEL scheme called \textit{Heterogeneity-Aware Cooperative Edge-based Federated Averaging} (HCEF) that aims to maximize the model accuracy while minimizing the training time and energy consumption via adaptive computation and communication compression in CFEL. By theoretically analyzing how local update frequency and gradient compression affect the convergence error bound in CFEL, we develop an efficient online control algorithm for HCEF to dynamically determine local update frequencies and compression ratios for heterogeneous devices. Experimental results show that compared with prior schemes, the proposed HCEF scheme can maintain higher model accuracy while reducing training latency and improving energy efficiency simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google