Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy

要約

タイトル：差分プライバシーを備えた効率的な無線フェデレーテッド学習のための勾配スパース化

要約：
– フェデレーテッド学習(Federated Learning, FL)は、分散したクライアントがお互いに生データを共有せずに機械学習モデルを共同で学習することを可能にする。しかし、モデルのアップロードからプライベート情報が漏れることがある。
– また、モデルのサイズが大きくなるにつれ、差分プライバシー保護下でのトレーニングの遅延が増加し、モデルの性能が悪化する。
– この論文では、無線チャンネルでのフェデレーテッド学習において、勾配スパース化を用いてトレーニング効率を向上させることを提案している。
– 具体的には、ランダムスパース化アルゴリズムを設計して、各クライアントのローカルトレーニングで勾配要素の一部を保持し、DPによって引き起こされる性能劣化を緩和し、無線チャンネルでの送信パラメータの数を減らす。
– そして、非凸フェデレーテッド学習問題をモデル化して、提案されたアルゴリズムの収束限界を分析し、Lyapunovドリフト+ペナルティフレームワークを利用して最適化問題の解析的解を開発する。
– 3つの実データセットでの実験では、ランダムスケジューリング、ラウンドロビン、遅延最小化アルゴリズムに比べて通信と計算の相互作用を十分に活用し、提案されたアルゴリズムが優れた性能を発揮することが示された。

要約(オリジナル)

Federated learning (FL) enables distributed clients to collaboratively train a machine learning model without sharing raw data with each other. However, it suffers the leakage of private information from uploading models. In addition, as the model size grows, the training latency increases due to limited transmission bandwidth and the model performance degrades while using differential privacy (DP) protection. In this paper, we propose a gradient sparsification empowered FL framework over wireless channels, in order to improve training efficiency without sacrificing convergence performance. Specifically, we first design a random sparsification algorithm to retain a fraction of the gradient elements in each client’s local training, thereby mitigating the performance degradation induced by DP and and reducing the number of transmission parameters over wireless channels. Then, we analyze the convergence bound of the proposed algorithm, by modeling a non-convex FL problem. Next, we formulate a time-sequential stochastic optimization problem for minimizing the developed convergence bound, under the constraints of transmit power, the average transmitting delay, as well as the client’s DP requirement. Utilizing the Lyapunov drift-plus-penalty framework, we develop an analytical solution to the optimization problem. Extensive experiments have been implemented on three real life datasets to demonstrate the effectiveness of our proposed algorithm. We show that our proposed algorithms can fully exploit the interworking between communication and computation to outperform the baselines, i.e., random scheduling, round robin and delay-minimization algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI