Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy

要約

フェデレーテッド ラーニング (FL) を使用すると、分散クライアントは、生データを互いに共有することなく、機械学習モデルを共同でトレーニングできます。
しかし、モデルをアップロードする際に個人情報が漏洩するという問題があります。
さらに、モデルのサイズが大きくなるにつれて、送信帯域幅が制限されるためトレーニングの遅延が増加し、差分プライバシー (DP) 保護の使用中にモデルのパフォーマンスが低下します。
この論文では、収束性能を犠牲にすることなくトレーニング効率を向上させるために、無線チャネル上で勾配スパース化を強化した FL フレームワークを提案します。
具体的には、まず、各クライアントのローカル トレーニングで勾配要素の一部を保持するランダム スパース化アルゴリズムを設計します。これにより、DP によって引き起こされるパフォーマンスの低下が軽減され、ワイヤレス チャネル上の送信パラメータの数が削減されます。
次に、非凸 FL 問題をモデル化することにより、提案されたアルゴリズムの収束限界を分析します。
次に、送信電力、平均送信遅延、およびクライアントの DP 要件の制約の下で、開発された収束限界を最小限に抑えるための時系列の確率的最適化問題を定式化します。
Lyapunov ドリフト プラス ペナルティ フレームワークを利用して、最適化問題に対する分析ソリューションを開発します。
私たちが提案したアルゴリズムの有効性を実証するために、3 つの実際のデータセットに対して広範な実験が実施されました。
私たちが提案したアルゴリズムは、通信と計算の間の相互作用を完全に活用して、ベースライン、つまりランダムスケジューリング、ラウンドロビン、遅延最小化アルゴリズムを上回るパフォーマンスを発揮できることを示します。

要約(オリジナル)

Federated learning (FL) enables distributed clients to collaboratively train a machine learning model without sharing raw data with each other. However, it suffers the leakage of private information from uploading models. In addition, as the model size grows, the training latency increases due to limited transmission bandwidth and the model performance degrades while using differential privacy (DP) protection. In this paper, we propose a gradient sparsification empowered FL framework over wireless channels, in order to improve training efficiency without sacrificing convergence performance. Specifically, we first design a random sparsification algorithm to retain a fraction of the gradient elements in each client’s local training, thereby mitigating the performance degradation induced by DP and and reducing the number of transmission parameters over wireless channels. Then, we analyze the convergence bound of the proposed algorithm, by modeling a non-convex FL problem. Next, we formulate a time-sequential stochastic optimization problem for minimizing the developed convergence bound, under the constraints of transmit power, the average transmitting delay, as well as the client’s DP requirement. Utilizing the Lyapunov drift-plus-penalty framework, we develop an analytical solution to the optimization problem. Extensive experiments have been implemented on three real life datasets to demonstrate the effectiveness of our proposed algorithm. We show that our proposed algorithms can fully exploit the interworking between communication and computation to outperform the baselines, i.e., random scheduling, round robin and delay-minimization algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google