Communication Optimization for Decentralized Learning atop Bandwidth-limited Edge Networks

要約

分散化されたフェデレーションラーニング（DFL）は、ネットワークエッジに人工知能（AI）機能をもたらすための有望な機械学習パラダイムです。
ただし、エッジネットワークの上でDFLを実行すると、エージェント間の広範なパラメーター交換により、深刻なパフォーマンスの課題に直面しています。
これらの課題に対する既存のソリューションのほとんどは、単純化された通信モデルに基づいており、マルチホップ帯域幅が制限されたネットワークを介して学習の場合を把握できません。
この作業では、エージェントによって形成されたオーバーレイネットワークの通信スキームと、エージェント間の通信要求を制御する混合マトリックスのコミュニケーションスキームを共同設計することにより、この問題に対処します。
問題の特性を慎重に分析することにより、各設計問題を扱いやすい最適化に導き、パフォーマンスを保証する効率的なアルゴリズムを開発します。
実際のトポロジとデータに基づいた私たちの評価は、提案されたアルゴリズムが精度を犠牲にすることなくベースラインと比較して総トレーニング時間を80ドル以上削減できることを示しています。

要約(オリジナル)

Decentralized federated learning (DFL) is a promising machine learning paradigm for bringing artificial intelligence (AI) capabilities to the network edge. Running DFL on top of edge networks, however, faces severe performance challenges due to the extensive parameter exchanges between agents. Most existing solutions for these challenges were based on simplistic communication models, which cannot capture the case of learning over a multi-hop bandwidth-limited network. In this work, we address this problem by jointly designing the communication scheme for the overlay network formed by the agents and the mixing matrix that controls the communication demands between the agents. By carefully analyzing the properties of our problem, we cast each design problem into a tractable optimization and develop an efficient algorithm with guaranteed performance. Our evaluations based on real topology and data show that the proposed algorithm can reduce the total training time by over $80\%$ compared to the baseline without sacrificing accuracy, while significantly improving the computational efficiency over the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google