Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity

要約

タイトル：データとデバイスの異質性を持つ半分分散型フェデレーテッドエッジ学習

要約：

– フェデレーテッドエッジ学習（FEEL）は、分散データをネットワークのエッジで効果的に組み込み、深層学習モデルのトレーニングを行うためのプライバシー保護パラダイムとして注目されている。
– しかし、単一のエッジサーバーの限られた範囲は、参加するクライアントノードの数が不十分であり、学習の性能が低下する可能性がある。
– 本論文では、複数のエッジサーバーを使用して多数のクライアントノードを共同で調整する、SD-FEELと呼ばれるFEELの新しいフレームワークを調査する。
– エッジサーバー間の低遅延通信を利用して、効率的なモデル共有を行うことで、SD-FEELはより多くのトレーニングデータを組み込み、従来のフェデレーテッド学習に比べてはるかに低いレイテンシーで動作できる。
– SD-FEELのトレーニングアルゴリズムには、3つの主要ステップであるローカルモデルの更新、クラスタ内およびクラスタ間のモデル集計が含まれる。これらのアルゴリズムは、非独立かつ同一分布でない（non-IID）データでの収束を証明し、トレーニング効率に影響を与える主要パラメータの効果を明らかにし、実用的な設計ガイドラインを提供する。
– 一方、エッジデバイスの異質性は、Straggler効果を引き起こし、SD-FEELの収束速度が低下する可能性がある。この問題を解決するために、我々はSD-FEEL用のasynchronousトレーニングアルゴリズムと、スタレネスを考慮した集約スキームを提案する。
– この論文で提案されるアルゴリズムのシミュレーション結果は、SD-FEELの効果と効率を示し、分析結果を裏付けている。

要約(オリジナル)

Federated edge learning (FEEL) has attracted much attention as a privacy-preserving paradigm to effectively incorporate the distributed data at the network edge for training deep learning models. Nevertheless, the limited coverage of a single edge server results in an insufficient number of participated client nodes, which may impair the learning performance. In this paper, we investigate a novel framework of FEEL, namely semi-decentralized federated edge learning (SD-FEEL), where multiple edge servers are employed to collectively coordinate a large number of client nodes. By exploiting the low-latency communication among edge servers for efficient model sharing, SD-FEEL can incorporate more training data, while enjoying much lower latency compared with conventional federated learning. We detail the training algorithm for SD-FEEL with three main steps, including local model update, intra-cluster, and inter-cluster model aggregations. The convergence of this algorithm is proved on non-independent and identically distributed (non-IID) data, which also helps to reveal the effects of key parameters on the training efficiency and provides practical design guidelines. Meanwhile, the heterogeneity of edge devices may cause the straggler effect and deteriorate the convergence speed of SD-FEEL. To resolve this issue, we propose an asynchronous training algorithm with a staleness-aware aggregation scheme for SD-FEEL, of which, the convergence performance is also analyzed. The simulation results demonstrate the effectiveness and efficiency of the proposed algorithms for SD-FEEL and corroborate our analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI