One-Shot Federated Learning with Classifier-Guided Diffusion Models

要約

ワンショットフェデレーテッドラーニング（OSFL）は、通信コストの低さから近年注目を集めています。
ただし、既存の手法のほとんどは補助データセットまたはトレーニング ジェネレーターを必要とするため、現実世界のシナリオでの実用性が妨げられています。
このペーパーでは、拡散モデルが OSFL にもたらす新たな機会を探求し、クライアント分類器からのガイダンスを利用してクライアントの分布に準拠するデータを生成し、その後サーバー上で集約モデルをトレーニングするという FedCADO を提案します。
具体的には、私たちの方法には 2 つの側面でターゲットを絞った最適化が含まれます。
一方で、ランダムにサンプリングされた初期ノイズを条件付きで編集し、指定されたセマンティクスと分布を埋め込んで、生成の品質と安定性の両方が大幅に向上します。
一方、分類器からの BN 統計を使用して、生成中に詳細なガイダンスを提供します。
これらのカスタマイズされた最適化により、元のクライアント データセットの分布と品質によく似たデータセットを無制限に生成できるようになります。
私たちの方法は、異種クライアント モデルと非 IID 機能またはラベルの問題を効果的に処理します。
プライバシー保護の観点から、私たちの方法はジェネレーターのトレーニングやクライアントに関する補助情報の転送を回避し、追加のプライバシー漏洩のリスクを排除します。
合成データセットは、事前トレーニングされた拡散モデルに保存された広範な知識を活用して、クライアント サンプルの知識制限を超えるのに役立ち、その結果、場合によっては集中トレーニングのパフォーマンス上限を上回る集計モデルが得られることが説得力をもって実証されています。
3 つの大規模なマルチドメイン画像データセットに対して実施された十分な定量化および視覚化実験において。

要約(オリジナル)

One-shot federated learning (OSFL) has gained attention in recent years due to its low communication cost. However, most of the existing methods require auxiliary datasets or training generators, which hinders their practicality in real-world scenarios. In this paper, we explore the novel opportunities that diffusion models bring to OSFL and propose FedCADO, utilizing guidance from client classifiers to generate data that complies with clients’ distributions and subsequently training the aggregated model on the server. Specifically, our method involves targeted optimizations in two aspects. On one hand, we conditionally edit the randomly sampled initial noises, embedding them with specified semantics and distributions, resulting in a significant improvement in both the quality and stability of generation. On the other hand, we employ the BN statistics from the classifiers to provide detailed guidance during generation. These tailored optimizations enable us to limitlessly generate datasets, which closely resemble the distribution and quality of the original client dataset. Our method effectively handles the heterogeneous client models and the problems of non-IID features or labels. In terms of privacy protection, our method avoids training any generator or transferring any auxiliary information on clients, eliminating any additional privacy leakage risks. Leveraging the extensive knowledge stored in the pre-trained diffusion model, the synthetic datasets can assist us in surpassing the knowledge limitations of the client samples, resulting in aggregation models that even outperform the performance ceiling of centralized training in some cases, which is convincingly demonstrated in the sufficient quantification and visualization experiments conducted on three large-scale multi-domain image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google