pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning

要約

Federated Learning (FL) は、データがローカルに残り、モデル パラメーターのみがクライアントと中央サーバー間で共有される、モデル トレーニングへの分散型アプローチを提供します。
Federated Averaging (FedAvg) などの従来の手法は、通常、異種データ分布でトレーニングされるこれらのパラメーターを線形に集計するため、パラメーター空間の複雑で高次元の性質が見落とされる可能性があります。
これにより、集約モデルのパフォーマンスが低下する可能性があります。
パーソナライズされた FL アプローチは異種データの問題をある程度軽減できますが、線形集約の制限は未解決のままです。
この問題を軽減するために、拡散モデルの生成アプローチを調査し、パーソナライズされた FL のための新しい生成パラメータ集約フレームワーク \texttt{pFedGPA} を提案します。
このフレームワークでは、サーバー上に拡散モデルを展開して多様なパラメータ分布を統合し、クライアントごとにパーソナライズされたパラメータのセットを効率的に生成するためのパラメータ反転手法を提案します。
この反転メソッドは、アップロードされたパラメータを潜在コードに変換し、それがノイズ除去サンプリングを通じて集約されて、最終的なパーソナライズされたパラメータが生成されます。
\texttt{pFedGPA} は、大容量拡散モデルを使用して特定のデータ分布に対するクライアントのモデル パラメーターの依存性をエンコードすることにより、すべてのクライアントのモデル パラメーターの全体的な分布の複雑さを、個々のクライアントのパラメーターの複雑さから効果的に切り離すことができます。
分布。
私たちの実験結果は、複数のデータセットにわたって提案された方法の優れたパフォーマンスを一貫して示しており、ベースラインのアプローチを上回っています。

要約(オリジナル)

Federated Learning (FL) offers a decentralized approach to model training, where data remains local and only model parameters are shared between the clients and the central server. Traditional methods, such as Federated Averaging (FedAvg), linearly aggregate these parameters which are usually trained on heterogeneous data distributions, potentially overlooking the complex, high-dimensional nature of the parameter space. This can result in degraded performance of the aggregated model. While personalized FL approaches can mitigate the heterogeneous data issue to some extent, the limitation of linear aggregation remains unresolved. To alleviate this issue, we investigate the generative approach of diffusion model and propose a novel generative parameter aggregation framework for personalized FL, \texttt{pFedGPA}. In this framework, we deploy a diffusion model on the server to integrate the diverse parameter distributions and propose a parameter inversion method to efficiently generate a set of personalized parameters for each client. This inversion method transforms the uploaded parameters into a latent code, which is then aggregated through denoising sampling to produce the final personalized parameters. By encoding the dependence of a client’s model parameters on the specific data distribution using the high-capacity diffusion model, \texttt{pFedGPA} can effectively decouple the complexity of the overall distribution of all clients’ model parameters from the complexity of each individual client’s parameter distribution. Our experimental results consistently demonstrate the superior performance of the proposed method across multiple datasets, surpassing baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google