Communication Efficient Private Federated Learning Using Dithering

要約

効率的なコミュニケーションを確保しながらプライバシーを保護するというタスクは、フェデレーション ラーニングにおける基本的な課題です。
この研究では、信頼できるアグリゲーター モデルでこの課題に取り組み、両方の目的を同時に達成するソリューションを提案します。
クライアントで減算ディザリングに基づく量子化スキームを採用すると、アグリゲータで通常のノイズ追加プロセスを効果的に再現できることを示します。
これは、完全精度の勾配を送信して中央ノイズ追加を使用するのとは対照的に、必要な通信量を大幅に削減しながら、他のクライアントに対して同じレベルの差分プライバシーを保証できることを意味します。
また、提案したアプローチの精度が完全精度勾配法の精度と一致することを実験的に示します。

要約(オリジナル)

The task of preserving privacy while ensuring efficient communication is a fundamental challenge in federated learning. In this work, we tackle this challenge in the trusted aggregator model, and propose a solution that achieves both objectives simultaneously. We show that employing a quantization scheme based on subtractive dithering at the clients can effectively replicate the normal noise addition process at the aggregator. This implies that we can guarantee the same level of differential privacy against other clients while substantially reducing the amount of communication required, as opposed to transmitting full precision gradients and using central noise addition. We also experimentally demonstrate that the accuracy of our proposed approach matches that of the full precision gradient method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google