GeFL: Model-Agnostic Federated Learning with Generative Models

要約

フェデレーテッド ラーニング (FL) は、ユーザーのプライバシーを保護しながら分散学習における有望なパラダイムです。
ただし、最近のモデルのサイズが大きくなっているため、一部のユーザーがこのモデルを手に入れるには手が届きません。
これにより、ユーザーは、多様なコンピューティング能力とネットワーク帯域幅に基づいて異種モデルを採用するようになります。
同様に、FL には通常、単一のグローバル モデルのトレーニングが含まれるため、異種モデルを含む FL にも対処する必要があります。
この論文では、異種モデルのユーザー間でグローバルな知識を集約する生成モデルを組み込んだ、生成モデル支援連合学習 (GeFL) を提案します。
さまざまな分類タスクに関する私たちの実験では、ベースラインと比較して GeFL のパフォーマンスが顕著に向上していることと、プライバシーとスケーラビリティの点での制限が実証されています。
これらの懸念に対処するために、新しいフレームワークである GeFL-F を導入します。
特徴生成モデルを利用してターゲット ネットワークをトレーニングします。
私たちは、GeFL-F の一貫したパフォーマンス向上を実証するとともに、プライバシー保護の向上と堅牢性を多数のクライアントに対して実証しています。
コードは [1] で入手できます。

要約(オリジナル)

Federated learning (FL) is a promising paradigm in distributed learning while preserving the privacy of users. However, the increasing size of recent models makes it unaffordable for a few users to encompass the model. It leads the users to adopt heterogeneous models based on their diverse computing capabilities and network bandwidth. Correspondingly, FL with heterogeneous models should be addressed, given that FL typically involves training a single global model. In this paper, we propose Generative Model-Aided Federated Learning (GeFL), incorporating a generative model that aggregates global knowledge across users of heterogeneous models. Our experiments on various classification tasks demonstrate notable performance improvements of GeFL compared to baselines, as well as limitations in terms of privacy and scalability. To tackle these concerns, we introduce a novel framework, GeFL-F. It trains target networks aided by feature-generative models. We empirically demonstrate the consistent performance gains of GeFL-F, while demonstrating better privacy preservation and robustness to a large number of clients. Codes are available at [1].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google