Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification

要約

連合学習(FL)は、急速に成長している研究分野として認識されており、そこでは、モデルは、クライアントのデータを共有することなく、パラメータサーバ(PS)のオーケストレーションの下で、大規模な分散クライアント上で学習される。本論文では、非凸かつ非平滑な損失関数を特徴とする連携問題のクラスについて考察する。このような損失関数はFLアプリケーションで一般的であるが、その複雑な非凸性と非平滑性の性質と、通信効率とプライバシー保護に関する相反する要件のために、取り扱いが困難である。本論文では、非凸かつ非平滑なFL問題に対して、双方向モデルスパース化を用いた新しい連合型原始双対アルゴリズムを提案し、プライバシー保証のために差分プライバシーを適用する。また、FLアルゴリズムの設計指針として、そのユニークな洞察的性質と、いくつかのプライバシー解析および収束解析を示す。提案アルゴリズムの有効性を実証するため、実データを用いた広範な実験が行われ、最新のFLアルゴリズムよりもはるかに優れた性能が実証された。

要約(オリジナル)

Federated learning (FL) has been recognized as a rapidly growing research area, where the model is trained over massively distributed clients under the orchestration of a parameter server (PS) without sharing clients’ data. This paper delves into a class of federated problems characterized by non-convex and non-smooth loss functions, that are prevalent in FL applications but challenging to handle due to their intricate non-convexity and non-smoothness nature and the conflicting requirements on communication efficiency and privacy protection. In this paper, we propose a novel federated primal-dual algorithm with bidirectional model sparsification tailored for non-convex and non-smooth FL problems, and differential privacy is applied for privacy guarantee. Its unique insightful properties and some privacy and convergence analyses are also presented as the FL algorithm design guidelines. Extensive experiments on real-world data are conducted to demonstrate the effectiveness of the proposed algorithm and much superior performance than some state-of-the-art FL algorithms, together with the validation of all the analytical results and properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL