FedBWO: Enhancing Communication Efficiency in Federated Learning

要約

Federated Learning（FL）は分散型の機械学習（ML）セットアップであり、共有モデルは、データをプライベートに保ちながら、ローカルデータセットを使用してさまざまなクライアントによって共同トレーニングされています。
リソースに制約のあるデバイスを考慮すると、フロリダ州のクライアントは、多くの場合、トランスミッション容量が制限されています。
システムのパフォーマンスを向上させることを目指して、クライアントとサーバー間の通信を減らす必要があります。
現在のFL戦略は、FLプロセス内で膨大な量のデータ（モデル重み）を送信します。これには、高い通信帯域幅が必要です。
リソースの制約を考慮して、クライアントの数を増やし、その結果、データの量（モデルの重み）がボトルネックにつながる可能性があります。
このホワイトペーパーでは、クライアントからのローカルモデルの重みではなくパフォーマンススコアのみを送信することにより、送信データの量を減らすために、フェデレーションブラックウィドウ最適化（FEDBWO）手法を紹介します。
FEDBWOは、BWOアルゴリズムを採用して、ローカルモデルの更新を改善します。
実施された実験は、FedBWOがグローバルモデルのパフォーマンスとシステム全体の通信効率を著しく改善することを証明しています。
実験結果によると、FEDBWOは、FEDAVGよりも平均21％、FedGWOよりも12％のグローバルモデルの精度を高めます。
さらに、FEDBWOは、他の方法と比較して通信コストを劇的に減少させます。

要約(オリジナル)

Federated Learning (FL) is a distributed Machine Learning (ML) setup, where a shared model is collaboratively trained by various clients using their local datasets while keeping the data private. Considering resource-constrained devices, FL clients often suffer from restricted transmission capacity. Aiming to enhance the system performance, the communication between clients and server needs to be diminished. Current FL strategies transmit a tremendous amount of data (model weights) within the FL process, which needs a high communication bandwidth. Considering resource constraints, increasing the number of clients and, consequently, the amount of data (model weights) can lead to a bottleneck. In this paper, we introduce the Federated Black Widow Optimization (FedBWO) technique to decrease the amount of transmitted data by transmitting only a performance score rather than the local model weights from clients. FedBWO employs the BWO algorithm to improve local model updates. The conducted experiments prove that FedBWO remarkably improves the performance of the global model and the communication efficiency of the overall system. According to the experimental outcomes, FedBWO enhances the global model accuracy by an average of 21% over FedAvg, and 12% over FedGWO. Furthermore, FedBWO dramatically decreases the communication cost compared to other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google