FedDWA: Personalized Federated Learning with Online Weight Adjustment

要約

タイトル: FedDWA: オンライン重み調整を用いた個別化フェデレーテッド学習

要約:
– 従来のフェデレーテッド学習とは異なり、個別化フェデレーテッド学習は、それぞれのクライアントの固有の要件に応じてカスタマイズされたモデルをトレーニングすることができる。主流の方法は、異なるクライアント間の損失値やモデルパラメータに基づいて重み付け集約法を採用することで、個別化モデルを生成することです。しかしながら、このような方法は、クライアントが他のモデルをダウンロードしなければならないため、コミュニケーショントラフィックを増やすだけでなく、データプライバシーを侵害する可能性があります。
– この論文では、提案された \emph{FedDWA (Federated Learning with Dynamic Weight Adjustment)} という新しい個別化フェデレーテッド学習アルゴリズムを用いて、上記の問題を解決することが提案されています。FedDWAは、パラメーターサーバー（PS）を利用して、クライアントから収集したモデルに基づいてパーソナライズされた集約重みを計算します。これにより、FedDWAはクライアント間の類似点をより少ない通信オーバーヘッドで捕捉できます。
– 具体的には、個別化フェデレーテッド学習問題を、個別化モデルとガイダンスモデルとの距離を最小化する最適化問題として定式化し、各クライアントにカスタマイズされた集約重みをカスタマイズします。ガイダンスモデルは、個々のクライアントでの1つ先のローカル適応によって得られます。最後に、5つの実データセットを使用して広範な実験を実施し、結果は、FedDWAが通信トラフィックを大幅に削減し、最先端のアプローチよりもはるかに高いモデル精度を達成できることを示しています。

要約(オリジナル)

Different from conventional federated learning, personalized federated learning (PFL) is able to train a customized model for each individual client according to its unique requirement. The mainstream approach is to adopt a kind of weighted aggregation method to generate personalized models, in which weights are determined by the loss value or model parameters among different clients. However, such kinds of methods require clients to download others’ models. It not only sheer increases communication traffic but also potentially infringes data privacy. In this paper, we propose a new PFL algorithm called \emph{FedDWA (Federated Learning with Dynamic Weight Adjustment)} to address the above problem, which leverages the parameter server (PS) to compute personalized aggregation weights based on collected models from clients. In this way, FedDWA can capture similarities between clients with much less communication overhead. More specifically, we formulate the PFL problem as an optimization problem by minimizing the distance between personalized models and guidance models, so as to customize aggregation weights for each client. Guidance models are obtained by the local one-step ahead adaptation on individual clients. Finally, we conduct extensive experiments using five real datasets and the results demonstrate that FedDWA can significantly reduce the communication traffic and achieve much higher model accuracy than the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI