Federated Generative Learning with Foundation Models

要約

既存のフェデレーテッド ラーニング ソリューションは、クライアントとサーバーの間で機能、パラメーター、またはガディエントを送信することに重点を置いており、深刻な低効率とプライバシー漏洩の問題を抱えています。
新しい基盤生成モデルのおかげで、クライアントとサーバーの間で分散トレーニング データに関連付けられたプロンプトを送信する、新しいフェデレーテッド ラーニング フレームワーク、つまり Federated Generative Learning を提案します。
有益なトレーニング データは、プライバシーをほとんど含まない受信したプロンプトと基礎生成モデルに基づいてリモートで合成できます。
新しいフレームワークには、通信効率の向上、配信シフトに対する回復力の向上、大幅なパフォーマンスの向上、プライバシー保護の強化など、複数の利点があり、これらは ImageNet および DomainNet データセットに関する広範な実験で検証されています。

要約(オリジナル)

Existing federated learning solutions focus on transmitting features, parameters or gadients between clients and server, which suffer from serious low-efficiency and privacy-leakage problems. Thanks to the emerging foundation generative models, we propose a novel federated learning framework, namely Federated Generative Learning, that transmits prompts associated with distributed training data between clients and server. The informative training data can be synthesized remotely based on received prompts containing little privacy and the foundation generative models. The new framework possesses multiple advantages, including improved communication efficiency, better resilience to distribution shift, substantial performance gains, and enhanced privacy protection, which are verified in extensive experiments on ImageNet and DomainNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google