FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation

要約

フェデレーション ラーニング (FL) は分散学習パラダイムであり、複数のクライアントがローカル データを一元化することなくディープ ラーニング モデルを共同でトレーニングするため、データ プライバシーが保護されます。
現実世界のアプリケーションには通常、さまざまなクライアントのデータセットにわたる分布のシフトが含まれており、これにより、それぞれのデータ分布からの未確認のサンプルに対するクライアントの一般化能力が損なわれます。
この研究では、ラベルの分布は同じであるにもかかわらず、クライアントの特徴の分布が異なるという、最近提案された特徴シフト問題に対処します。
私たちは、この現実的かつ困難な問題に取り組むために、Federated Representation Augmentation (FRAug) を提案します。
私たちのアプローチでは、埋め込みスペースでクライアント固有の合成サンプルを生成し、通常は小規模なクライアント データセットを強化します。
そのために、私たちは共有生成モデルをトレーニングして、クライアントのさまざまな特徴分布から学んだ知識を融合します。
このジェネレーターは、クライアントに依存しないエンベディングを合成し、その後、表現変換ネットワーク (RTNet) によってクライアント固有のエンベディングにローカルに変換されます。
クライアント間で知識を転送することで、生成されたエンベディングがクライアント モデルの正則化機能として機能し、ローカルの元のデータセットへの過剰適合が軽減されるため、一般化が向上します。
公開ベンチマークと現実世界の医療データセットに対する当社の実証的評価は、提案された手法の有効性を実証しており、PartialFed や FedBN などの非 IID 特徴に対する現在の最先端の FL 手法を大幅に上回っています。

要約(オリジナル)

Federated Learning (FL) is a decentralized learning paradigm, in which multiple clients collaboratively train deep learning models without centralizing their local data, and hence preserve data privacy. Real-world applications usually involve a distribution shift across the datasets of the different clients, which hurts the generalization ability of the clients to unseen samples from their respective data distributions. In this work, we address the recently proposed feature shift problem where the clients have different feature distributions, while the label distribution is the same. We propose Federated Representation Augmentation (FRAug) to tackle this practical and challenging problem. Our approach generates synthetic client-specific samples in the embedding space to augment the usually small client datasets. For that, we train a shared generative model to fuse the clients knowledge learned from their different feature distributions. This generator synthesizes client-agnostic embeddings, which are then locally transformed into client-specific embeddings by Representation Transformation Networks (RTNets). By transferring knowledge across the clients, the generated embeddings act as a regularizer for the client models and reduce overfitting to the local original datasets, hence improving generalization. Our empirical evaluation on public benchmarks and a real-world medical dataset demonstrates the effectiveness of the proposed method, which substantially outperforms the current state-of-the-art FL methods for non-IID features, including PartialFed and FedBN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google