A Primal-Dual Algorithm for Hybrid Federated Learning

要約

クライアントが特徴とサンプルの両方のサブセットのみを保持するハイブリッドフェデレーテッド ラーニングの方法はほとんど存在しません。
ただし、このシナリオは実際の設定では非常に重要です。
私たちは、Fenchel Duality に依存するハイブリッド連合学習のための高速で堅牢なアルゴリズムを提供します。
モデルがさまざまな実際的なレジームで集中的にトレーニングされたかのように、アルゴリズムが同じ解決策に収束することを証明します。
さらに、フェデレーテッド ラーニングで一般的に使用される手法である FedAvg および既存のハイブリッド FL アルゴリズムである HyFEM と比較して、アルゴリズムのパフォーマンスが向上していることを示す実験結果を提供します。
また、プライバシーに関する考慮事項と、クライアントのデータを保護するために必要な手順も提供します。

要約(オリジナル)

Very few methods for hybrid federated learning, where clients only hold subsets of both features and samples, exist. Yet, this scenario is extremely important in practical settings. We provide a fast, robust algorithm for hybrid federated learning that hinges on Fenchel Duality. We prove the convergence of the algorithm to the same solution as if the model is trained centrally in a variety of practical regimes. Furthermore, we provide experimental results that demonstrate the performance improvements of the algorithm over a commonly used method in federated learning, FedAvg, and an existing hybrid FL algorithm, HyFEM. We also provide privacy considerations and necessary steps to protect client data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google