FedDEO: Description-Enhanced One-Shot Federated Learning with Diffusion Models

要約

近年、コミュニケーションを最小限に抑える能力によって、One-Shot Federated Learning (OSFL) に対する注目が集まっています。
拡散モデル (DM) の開発により、いくつかの方法で OSFL の DM が採用され、モデル パラメーター、画像特徴、またはテキスト プロンプトを媒体として利用して、ローカル クライアントの知識をサーバーに転送します。
ただし、これらの媒体では多くの場合、公開データセットまたは統一特徴抽出ツールが必要となるため、実用性が大幅に制限されます。
この論文では、OSFL での DM 利用の新しい探求を提供する、DM を使用した記述強化ワンショット連合学習法である FedDEO を提案します。
私たちの方法の中心的なアイデアには、分散クライアントの知識をサーバーに転送する媒体として機能する、クライアント上のローカル記述のトレーニングが含まれます。
まず、クライアント データのローカル記述をトレーニングしてクライアントの分布の特性を捕捉し、その後サーバーにアップロードします。
サーバー上では、説明はさまざまなクライアントの分布に準拠する合成データセットを生成する際に DM をガイドするための条件として使用され、集約モデルのトレーニングが可能になります。
3 つの大規模な実世界データセットに対する理論分析と十分な定量化および視覚化実験により、サーバーが局所記述のトレーニングを通じて高品質で多様性のある合成データセットを生成できることが実証されました。
その結果、通信とプライバシー保護に利点がある集約モデルは、比較した FL または拡散ベースの OSFL 手法よりも優れたパフォーマンスを発揮し、一部のクライアントでは集中トレーニングのパフォーマンス上限を上回るパフォーマンスを発揮します。

要約(オリジナル)

In recent years, the attention towards One-Shot Federated Learning (OSFL) has been driven by its capacity to minimize communication. With the development of the diffusion model (DM), several methods employ the DM for OSFL, utilizing model parameters, image features, or textual prompts as mediums to transfer the local client knowledge to the server. However, these mediums often require public datasets or the uniform feature extractor, significantly limiting their practicality. In this paper, we propose FedDEO, a Description-Enhanced One-Shot Federated Learning Method with DMs, offering a novel exploration of utilizing the DM in OSFL. The core idea of our method involves training local descriptions on the clients, serving as the medium to transfer the knowledge of the distributed clients to the server. Firstly, we train local descriptions on the client data to capture the characteristics of client distributions, which are then uploaded to the server. On the server, the descriptions are used as conditions to guide the DM in generating synthetic datasets that comply with the distributions of various clients, enabling the training of the aggregated model. Theoretical analyses and sufficient quantitation and visualization experiments on three large-scale real-world datasets demonstrate that through the training of local descriptions, the server is capable of generating synthetic datasets with high quality and diversity. Consequently, with advantages in communication and privacy protection, the aggregated model outperforms compared FL or diffusion-based OSFL methods and, on some clients, outperforms the performance ceiling of centralized training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google