Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network

要約

タイトル: Fed-FSNet：ファジー合成ネットワークによる非I.I.D. Federated Learningの軽減
要約:
– Federated Learning (FL)は、最近の有望なプライバシー保護型分散機械学習フレームワークとして登場しています。
– FLは、クラウドサーバーでの集中的な生データ共有なしに、エッジデバイスで分散トレーニングを実行しローカルモデルを集約してグローバルモデルを共同学習することを目的としています。
– しかし、エッジデバイス間での大きなローカルデータの異質性（非I.I.D.データ）のため、FLは、ローカルデータセット上でよりシフトした勾配を生成するグローバルモデルを簡単に取得してしまい、モデル性能の低下やトレーニング中の非収束を引き起こす可能性があります。
– この研究では、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案して、適切に設計されたファジー合成ネットワーク（FSNet）を使用して、I.I.D.ではないFLを元から軽減します。
– 具体的には、クラウドサーバーにエッジに関係ない隠れたモデルを維持して、グローバルモデルの方向を考慮した正確度の低い逆転を推定します。
– 隠れたモデルは、グローバルモデルに依存して複数のmimic I.I.D.データサンプル（サンプル特徴）をあいまいに合成できるため、エッジデバイスで共有され、FLトレーニングをより高速・より良い収束に向けて促進できます。
– さらに、合成プロセスは、ローカルモデルのパラメータ/更新にアクセスしたり、個々のローカルモデル出力の分析を行う必要がないため、FLのプライバシーを確保することができます。
– FLベンチマークのいくつかでの実験的結果は、私たちの方法がNon-I.I.D.問題を軽減し、他の代表的な方法よりも優れたパフォーマンスを実現できることを示しています。

要約(オリジナル)

Federated learning (FL) has emerged as a promising privacy-preserving distributed machine learning framework recently. It aims at collaboratively learning a shared global model by performing distributed training locally on edge devices and aggregating local models into a global one without centralized raw data sharing in the cloud server. However, due to the large local data heterogeneities (Non-I.I.D. data) across edge devices, the FL may easily obtain a global model that can produce more shifted gradients on local datasets, thereby degrading the model performance or even suffering from the non-convergence during training. In this paper, we propose a novel FL training framework, dubbed Fed-FSNet, using a properly designed Fuzzy Synthesizing Network (FSNet) to mitigate the Non-I.I.D. FL at-the-source. Concretely, we maintain an edge-agnostic hidden model in the cloud server to estimate a less-accurate while direction-aware inversion of the global model. The hidden model can then fuzzily synthesize several mimic I.I.D. data samples (sample features) conditioned on only the global model, which can be shared by edge devices to facilitate the FL training towards faster and better convergence. Moreover, since the synthesizing process involves neither access to the parameters/updates of local models nor analyzing individual local model outputs, our framework can still ensure the privacy of FL. Experimental results on several FL benchmarks demonstrate that our method can significantly mitigate the Non-I.I.D. issue and obtain better performance against other representative methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI