Sparse Incremental Aggregation in Multi-Hop Federated Learning

要約

この論文では、衛星間リンクを備えたコンステレーションなどのマルチホップ通信セットアップにおけるフェデレーテッド ラーニング (FL) について調査します。
この設定では、FL クライアントの一部が他のクライアントの結果をパラメータ サーバーに転送する役割を果たします。
従来のルーティングを使用する代わりに、インクリメンタル アグリゲーション (IA) として知られる各中間ホップでのネットワーク内モデル アグリゲーションを使用することで、通信効率を大幅に向上させることができます。
以前の研究 [1] では、勾配スパース化の下で IA のゲインが減少することが示されています。
ここでは、この問題を研究し、IA のためのいくつかの新しい相関スパース化手法を提案します。
数値結果は、これらのアルゴリズムの一部では、スパース化下でも収束を損なうことなく IA の潜在能力を最大限に活用できることを示しています。
従来のルーティングと比較して通信効率が 15 倍向上し、最先端 (SoA) スパース IA と比較して 11 倍の向上が実証されました。

要約(オリジナル)

This paper investigates federated learning (FL) in a multi-hop communication setup, such as in constellations with inter-satellite links. In this setup, part of the FL clients are responsible for forwarding other client’s results to the parameter server. Instead of using conventional routing, the communication efficiency can be improved significantly by using in-network model aggregation at each intermediate hop, known as incremental aggregation (IA). Prior works [1] have indicated diminishing gains for IA under gradient sparsification. Here we study this issue and propose several novel correlated sparsification methods for IA. Numerical results show that, for some of these algorithms, the full potential of IA is still available under sparsification without impairing convergence. We demonstrate a 15x improvement in communication efficiency over conventional routing and a 11x improvement over state-of-the-art (SoA) sparse IA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google