Masked Random Noise for Communication Efficient Federaetd Learning

要約

フェデレーション ラーニングは、データ プライバシーを効果的に保護する有望な分散トレーニング パラダイムです。
ただし、多大な通信コストがかかる可能性があり、トレーニングの効率が妨げられます。
本稿では、新たな視点からコミュニケーション効率の向上を目指します。
具体的には、分散クライアントに、事前定義されたランダム ノイズ内のグローバル モデル パラメーターに関連した最適なモデル更新を見つけるように要求します。
この目的のために、クライアントが各モデル パラメーターの 1 ビット マスクを学習し、マスクされたランダム ノイズ (つまり、ランダム ノイズとマスクのアダマール積) を適用して表現できる新しいフレームワークである Federated Masked Random Noise (FedMRN) を提案します。
モデルのアップデート。
FedMRN を実現可能にするために、プログレッシブ確率マスキング (PSM) と呼ばれる高度なマスク トレーニング戦略を提案します。
ローカル トレーニングの後、各クライアントはローカル マスクとランダム シードをサーバーに送信するだけで済みます。
さらに、強い凸仮定と非凸仮定の両方の下で FedMRN の収束に対する理論的保証を提供します。
4 つの人気のあるデータセットに対して広範な実験が行われています。
結果は、FedMRN が関連するベースラインと比較して優れた収束速度とテスト精度を示し、FedAvg と同様のレベルの精度を達成していることを示しています。

要約(オリジナル)

Federated learning is a promising distributed training paradigm that effectively safeguards data privacy. However, it may involve significant communication costs, which hinders training efficiency. In this paper, we aim to enhance communication efficiency from a new perspective. Specifically, we request the distributed clients to find optimal model updates relative to global model parameters within predefined random noise. For this purpose, we propose Federated Masked Random Noise (FedMRN), a novel framework that enables clients to learn a 1-bit mask for each model parameter and apply masked random noise (i.e., the Hadamard product of random noise and masks) to represent model updates. To make FedMRN feasible, we propose an advanced mask training strategy, called progressive stochastic masking (PSM). After local training, each client only need to transmit local masks and a random seed to the server. Additionally, we provide theoretical guarantees for the convergence of FedMRN under both strongly convex and non-convex assumptions. Extensive experiments are conducted on four popular datasets. The results show that FedMRN exhibits superior convergence speed and test accuracy compared to relevant baselines, while attaining a similar level of accuracy as FedAvg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google