Compression with Exact Error Distribution for Federated Learning

要約

圧縮スキームは、分散学習の通信コストを削減するために、フェデレーテッド ラーニング (FL) で広く使用されてきました。
ほとんどのアプローチは、圧縮器によって生成されるノイズの有限分散仮定に依存していますが、この論文では、集約されたデータに特定の誤差分布 (ガウスやラプラスなど) を生成する圧縮および集約スキームの使用を調査します。
正確な誤差分散を実現する階層型量子化器に基づくさまざまな集計スキームを提示し、分析します。
私たちは、差分プライバシー アプリケーションで無料で圧縮を実現するために、提案された圧縮スキームを活用するためのさまざまな方法を提供します。
当社の一般的な圧縮方法は、ランジュバン ダイナミクスやランダム化平滑化などのガウス摂動を使用した標準 FL スキームを回復および改善できます。

要約(オリジナル)

Compression schemes have been extensively used in Federated Learning (FL) to reduce the communication cost of distributed learning. While most approaches rely on a bounded variance assumption of the noise produced by the compressor, this paper investigates the use of compression and aggregation schemes that produce a specific error distribution, e.g., Gaussian or Laplace, on the aggregated data. We present and analyze different aggregation schemes based on layered quantizers achieving exact error distribution. We provide different methods to leverage the proposed compression schemes to obtain compression-for-free in differential privacy applications. Our general compression methods can recover and improve standard FL schemes with Gaussian perturbations such as Langevin dynamics and randomized smoothing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google