PRISM: Privacy-Preserving Improved Stochastic Masking for Federated Generative Models

要約

連邦学習（FL）の最近の進歩にもかかわらず、FLへの生成モデルの統合は、高い通信コストや不均一なデータ環境での不安定なトレーニングなどの課題により制限されています。
これらの問題に対処するために、（i）不均一なデータ分布の安定したパフォーマンスと（ii）通信コストと最終モデルサイズの観点からのリソース効率を保証する生成モデルに合わせたFLフレームワークであるPRISMを提案します。
私たちの方法の鍵は、モデルの重みを更新するのではなく、ランダムネットワークの最適な確率的バイナリマスクを検索し、高い生成パフォーマンスを備えたスパースサブネットワークを識別することです。
すなわち、「強い宝くじ券」。
バイナリマスクを確率的に通信することにより、プリズムはコミュニケーションのオーバーヘッドを最小限に抑えます。
このアプローチは、サーバー側の最大平均不一致（MMD）損失（MMD）損失とマスクに対応する動的移動平均集約法（MADA）の利用と相まって、FLシナリオの局所的発散を軽減することにより、安定した強力な生成機能を促進します。
さらに、そのスパースの特性のおかげで、プリズムは余分なプルーニングや量子化なしで軽量モデルを生成し、エッジデバイスなどの環境に最適です。
MNIST、FMNIST、CELEBA、およびCIFAR10の実験は、PRISMが既存の方法を上回り、通信コストを最小限に抑えながらプライバシーを維持することを示しています。
プリズムは、以前の方法が苦労している複雑なデータセットで、挑戦的でない非IIDおよびプライバシーを提供するFL環境の下で画像を成功裏に生成した最初のものです。

要約(オリジナル)

Despite recent advancements in federated learning (FL), the integration of generative models into FL has been limited due to challenges such as high communication costs and unstable training in heterogeneous data environments. To address these issues, we propose PRISM, a FL framework tailored for generative models that ensures (i) stable performance in heterogeneous data distributions and (ii) resource efficiency in terms of communication cost and final model size. The key of our method is to search for an optimal stochastic binary mask for a random network rather than updating the model weights, identifying a sparse subnetwork with high generative performance; i.e., a “strong lottery ticket”. By communicating binary masks in a stochastic manner, PRISM minimizes communication overhead. This approach, combined with the utilization of maximum mean discrepancy (MMD) loss and a mask-aware dynamic moving average aggregation method (MADA) on the server side, facilitates stable and strong generative capabilities by mitigating local divergence in FL scenarios. Moreover, thanks to its sparsifying characteristic, PRISM yields a lightweight model without extra pruning or quantization, making it ideal for environments such as edge devices. Experiments on MNIST, FMNIST, CelebA, and CIFAR10 demonstrate that PRISM outperforms existing methods, while maintaining privacy with minimal communication costs. PRISM is the first to successfully generate images under challenging non-IID and privacy-preserving FL environments on complex datasets, where previous methods have struggled.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google