Scalable Hierarchical Over-the-Air Federated Learning

要約

ワイヤレス ネットワーク上で階層型フェデレーション ラーニングを実装する場合、スケーラビリティの保証と、干渉とデバイス データの異質性の両方を処理する機能が重要です。
この研究では、これらの課題に対処するために設計された新しい 2 レベルの学習方法と、単一の無線リソースを効率的に使用するアップリンクのスケーラブルな無線アグリゲーション スキームおよびダウンリンクの帯域幅制限ブロードキャスト スキームを導入します。
データの異質性に対する耐性を提供するために、勾配集計を採用しています。
一方、アップリンクとダウンリンクの干渉の影響は、受信機の正規化係数を最適化することで最小限に抑えられます。
我々は、提案されたアルゴリズムの収束限界を導き出すための包括的な数学的アプローチを提示し、任意の数の協調クラスタを含むマルチクラスタ無線ネットワークに適用でき、特殊なケースと設計上の注意を提供します。
扱いやすい分析を可能にする重要なステップとして、エッジ サーバー上のポアソン クラスター プロセスとしてデバイスをモデル化することでセットアップ用の空間モデルを開発し、干渉によるアップリンクおよびダウンリンクのエラー項を厳密に定量化します。
最後に、干渉とデータの不均一性にもかかわらず、提案されたアルゴリズムがさまざまなパラメーターに対して高い学習精度を達成するだけでなく、従来の階層学習アルゴリズムを大幅に上回るパフォーマンスを示すことを示します。

要約(オリジナル)

When implementing hierarchical federated learning over wireless networks, scalability assurance and the ability to handle both interference and device data heterogeneity are crucial. This work introduces a new two-level learning method designed to address these challenges, along with a scalable over-the-air aggregation scheme for the uplink and a bandwidth-limited broadcast scheme for the downlink that efficiently use a single wireless resource. To provide resistance against data heterogeneity, we employ gradient aggregations. Meanwhile, the impact of uplink and downlink interference is minimized through optimized receiver normalizing factors. We present a comprehensive mathematical approach to derive the convergence bound for the proposed algorithm, applicable to a multi-cluster wireless network encompassing any count of collaborating clusters, and provide special cases and design remarks. As a key step to enable a tractable analysis, we develop a spatial model for the setup by modeling devices as a Poisson cluster process over the edge servers and rigorously quantify uplink and downlink error terms due to the interference. Finally, we show that despite the interference and data heterogeneity, the proposed algorithm not only achieves high learning accuracy for a variety of parameters but also significantly outperforms the conventional hierarchical learning algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google