EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning

要約

フェデレーテッド ラーニング (FL) は、個々のノードにデータの共有を強制することなく、分散ノード間での協調的なモデル トレーニングを可能にする分散型機械学習パラダイムです。
ただし、多数のモデル パラメーターを送信する際の通信コストが高いため、その広範な採用が妨げられています。
この論文では、これらの課題に対処するために進化戦略 (ES) と FL を統合する新しいアプローチである EvoFed について説明します。
EvoFedは従来のモデルベースのFLとは大きく異なり、「フィットネスベースの情報共有」というコンセプトを採用しています。
実際の更新されたモデル パラメーターを交換するのではなく、各ノードはローカルに更新されたモデルとノイズ摂動モデル母集団の各メンバーとの間の距離に基づく類似性測定を送信します。
各ノードとサーバーは、同じランダム シードを使用して、完全に同期された方法で摂動モデルの同一の母集団セットを生成します。
適切に選択されたノイズ分散と母集団サイズにより、摂動モデルを組み合わせて、ローカル データセットを使用して更新された実際のモデルを厳密に反映することができ、送信された類似性測定値 (または適合度値) がモデル パラメーターに関するほぼ完全な情報を伝えることができます。
通常、母集団のサイズはモデル パラメーターの数よりもはるかに小さいため、通信負荷の節約は大きくなります。
サーバーはこれらの適合性値を集約し、グローバル モデルを更新できます。
このグローバルな適応度ベクトルはノードに再配布され、各ノードは同じ更新を適用してグローバル モデルに同期されます。
私たちの分析では、EvoFed が収束していることが示されており、実験結果では、ローカル処理負荷の増加を犠牲にして、EvoFed がさまざまな実際の設定で全体的な通信要件を大幅に削減しながら、FedAvg に匹敵するパフォーマンスを達成していることが検証されています。

要約(オリジナル)

Federated Learning (FL) is a decentralized machine learning paradigm that enables collaborative model training across dispersed nodes without having to force individual nodes to share data. However, its broad adoption is hindered by the high communication costs of transmitting a large number of model parameters. This paper presents EvoFed, a novel approach that integrates Evolutionary Strategies (ES) with FL to address these challenges. EvoFed employs a concept of ‘fitness-based information sharing’, deviating significantly from the conventional model-based FL. Rather than exchanging the actual updated model parameters, each node transmits a distance-based similarity measure between the locally updated model and each member of the noise-perturbed model population. Each node, as well as the server, generates an identical population set of perturbed models in a completely synchronized fashion using the same random seeds. With properly chosen noise variance and population size, perturbed models can be combined to closely reflect the actual model updated using the local dataset, allowing the transmitted similarity measures (or fitness values) to carry nearly the complete information about the model parameters. As the population size is typically much smaller than the number of model parameters, the savings in communication load is large. The server aggregates these fitness values and is able to update the global model. This global fitness vector is then disseminated back to the nodes, each of which applies the same update to be synchronized to the global model. Our analysis shows that EvoFed converges, and our experimental results validate that at the cost of increased local processing loads, EvoFed achieves performance comparable to FedAvg while reducing overall communication requirements drastically in various practical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google