Navigating Heterogeneity and Privacy in One-Shot Federated Learning with Diffusion Models

要約

フェデレーション ラーニング (FL) を使用すると、データ プライバシーを維持しながら、複数のクライアントがモデルを集合的にトレーニングできます。
しかし、フロリダ州は通信コストとデータの異質性の点で課題に直面しています。
ワンショットのフェデレーテッド ラーニングは、通信ラウンドを削減し、効率を向上させ、盗聴攻撃に対するセキュリティを強化することにより、ソリューションとして登場しました。
それにもかかわらず、データの異質性は依然として重大な課題であり、パフォーマンスに影響を与えます。
この研究では、ワンショット FL における拡散モデルの有効性を調査し、データの異質性への対処と FL パフォーマンスの向上における拡散モデルの適用性を実証します。
さらに、差分プライバシー (DP) の下で、拡散モデル アプローチである FedDiff の有用性を他のワンショット FL 手法と比較して調査します。
さらに、DP 設定で生成されたサンプルの品質を向上させるために、グローバル モデル トレーニングにおける生成データの有効性を高める、実用的なフーリエ マグニチュード フィルター (FMF) 手法を提案します。

要約(オリジナル)

Federated learning (FL) enables multiple clients to train models collectively while preserving data privacy. However, FL faces challenges in terms of communication cost and data heterogeneity. One-shot federated learning has emerged as a solution by reducing communication rounds, improving efficiency, and providing better security against eavesdropping attacks. Nevertheless, data heterogeneity remains a significant challenge, impacting performance. This work explores the effectiveness of diffusion models in one-shot FL, demonstrating their applicability in addressing data heterogeneity and improving FL performance. Additionally, we investigate the utility of our diffusion model approach, FedDiff, compared to other one-shot FL methods under differential privacy (DP). Furthermore, to improve generated sample quality under DP settings, we propose a pragmatic Fourier Magnitude Filtering (FMF) method, enhancing the effectiveness of generated data for global model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google