Federated Learning under Covariate Shifts with Generalization Guarantees

要約

このペーパーでは、全体的な汎化パフォーマンスに焦点を当て、フェデレーテッド ラーニング (FL) におけるクライアント内およびクライアント間の共変量シフトについて取り上げます。
共変量シフトに対処するために、新しいグローバル モデル トレーニング パラダイムを定式化し、真の比率に対する最高値の完全な知識を必要とせずに、密度比率マッチング手法を改善するとともに、統合重要度加重経験的リスク最小化 (FTW-ERM) を提案します。
また、フロリダ州の従来の ERM と同じレベルのプライバシー保証を備えた、通信効率の高いバリアント FITW-ERM も提案します。
我々は理論的に、FTW-ERMが特定の設定の下で古典的なERMよりも小さい汎化誤差を達成することを示します。
実験結果は、クライアント間でのデータ分散シフトという不均衡なフェデレーション設定の課題において、既存の FL ベースラインよりも FTW-ERM が優れていることを示しています。

要約(オリジナル)

This paper addresses intra-client and inter-client covariate shifts in federated learning (FL) with a focus on the overall generalization performance. To handle covariate shifts, we formulate a new global model training paradigm and propose Federated Importance-Weighted Empirical Risk Minimization (FTW-ERM) along with improving density ratio matching methods without requiring perfect knowledge of the supremum over true ratios. We also propose the communication-efficient variant FITW-ERM with the same level of privacy guarantees as those of classical ERM in FL. We theoretically show that FTW-ERM achieves smaller generalization error than classical ERM under certain settings. Experimental results demonstrate the superiority of FTW-ERM over existing FL baselines in challenging imbalanced federated settings in terms of data distribution shifts across clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google