Private Federated Learning with Autotuned Compression

要約

私たちは、圧縮率の設定や調整を必要とせずに、プライベートフェデレーテッドラーニングでの通信を削減するための新しい手法を提案します。
当社のオンザフライ手法は、安全な集約と差分プライバシーの使用を通じて証明可能なプライバシー保証を維持しながら、トレーニング中に誘発されたエラーに基づいて圧縮率を自動的に調整します。
私たちの技術は、平均推定に関してインスタンス最適であることが証明されています。これは、最小限の対話性で「問題の難しさ」に適応できることを意味します。
チューニングを必要とせずに良好な圧縮率を達成することで、実世界のデータセットに対するアプローチの有効性を実証します。

要約(オリジナル)

We propose new techniques for reducing communication in private federated learning without the need for setting or tuning compression rates. Our on-the-fly methods automatically adjust the compression rate based on the error induced during training, while maintaining provable privacy guarantees through the use of secure aggregation and differential privacy. Our techniques are provably instance-optimal for mean estimation, meaning that they can adapt to the “hardness of the problem’ with minimal interactivity. We demonstrate the effectiveness of our approach on real-world datasets by achieving favorable compression rates without the need for tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google