Personalized Federated Learning via Learning Dynamic Graphs

要約

パーソナライズされたフェデレートラーニング（PFL）は、ローカルデータ分布に合わせて調整された各クライアントのパーソナライズされたモデルをトレーニングすることを目的としています。学習は、ローカルデータ分布のバリエーションのために個々のクライアントでうまく機能することができません。
ほとんどの既存のPFLメソッドは、各クライアントの集約されたグローバルモデルのパーソナライズに焦点を当てており、フェデレーション学習の基本的な側面、つまりクライアントモデルの集約方法の規制を無視します。
さらに、それらのほとんどすべてが、連合学習のクライアントによって形成されたグラフ構造を見落としています。
この論文では、クライアント間の潜在的なグラフ構造をキャプチャし、各クライアントの他のクライアントの重要性を動的に決定するグラフ注意ネットワーク（PFEDGAT）を使用したパーソナライズされたフェデレーションラーニングを提案し、集約プロセスを細かく制御できます。
複数のデータ分布シナリオにわたってPFEDGATを評価し、Fashion Mnist、CIFAR-10、およびCIFAR-100の3つのデータセットで12の最新メソッドと比較し、一貫してパフォーマンスが発生していることがわかります。

要約(オリジナル)

Personalized Federated Learning (PFL) aims to train a personalized model for each client that is tailored to its local data distribution, learning fails to perform well on individual clients due to variations in their local data distributions. Most existing PFL methods focus on personalizing the aggregated global model for each client, neglecting the fundamental aspect of federated learning: the regulation of how client models are aggregated. Additionally, almost all of them overlook the graph structure formed by clients in federated learning. In this paper, we propose a novel method, Personalized Federated Learning with Graph Attention Network (pFedGAT), which captures the latent graph structure between clients and dynamically determines the importance of other clients for each client, enabling fine-grained control over the aggregation process. We evaluate pFedGAT across multiple data distribution scenarios, comparing it with twelve state of the art methods on three datasets: Fashion MNIST, CIFAR-10, and CIFAR-100, and find that it consistently performs well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google