FedImpro: Measuring and Improving Client Update in Federated Learning

要約

フェデレーテッド ラーニング (FL) モデルでは、クライアント間でデータの分布が異なる異種データが原因でクライアント ドリフトが発生することがよくあります。
この問題に対処するために、先進的な研究は主に既存の勾配を操作してより一貫性のあるクライアント モデルを実現することに焦点を当てています。
このペーパーでは、クライアント ドリフトに関する別の視点を提示し、改善されたローカル モデルを生成することでクライアント ドリフトを軽減することを目指します。
まず、ローカル トレーニングの汎化寄与を分析し、この汎化寄与は、異なるクライアントのデータ分布間の条件付き Wasserstein 距離によって制限されると結論付けます。
次に、ローカル トレーニング用に同様の条件付き分布を構築する FedImpro を提案します。
具体的には、FedImpro はモデルを高レベルのコンポーネントと低レベルのコンポーネントに分離し、再構成された特徴分布に基づいて高レベルの部分をトレーニングします。
このアプローチにより、汎化の寄与が強化され、FL の勾配の非類似性が軽減されます。
実験結果は、FedImpro が FL をデータの異質性から防御し、モデルの汎化パフォーマンスを強化するのに役立つことを示しています。

要約(オリジナル)

Federated Learning (FL) models often experience client drift caused by heterogeneous data, where the distribution of data differs across clients. To address this issue, advanced research primarily focuses on manipulating the existing gradients to achieve more consistent client models. In this paper, we present an alternative perspective on client drift and aim to mitigate it by generating improved local models. First, we analyze the generalization contribution of local training and conclude that this generalization contribution is bounded by the conditional Wasserstein distance between the data distribution of different clients. Then, we propose FedImpro, to construct similar conditional distributions for local training. Specifically, FedImpro decouples the model into high-level and low-level components, and trains the high-level portion on reconstructed feature distributions. This approach enhances the generalization contribution and reduces the dissimilarity of gradients in FL. Experimental results show that FedImpro can help FL defend against data heterogeneity and enhance the generalization performance of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google