DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing

要約

Federated Learning (FL) は、最近、産業界と学術界の両方で大きな注目を集めています。
フロリダ州では、複数のラウンドにわたる委員会に編成されたさまざまなエンドユーザーからのデータを使用して機械学習モデルがトレーニングされます。
このようなデータは機密性が高いことが多いため、フロリダ州の主な課題は、モデルの有用性を維持しながらプライバシーを提供することです。
差分プライバシー (DP) は、FL 設定におけるプライバシーの主な尺度になっています。
DP には、中央とローカルの 2 つの種類があります。
前者では、集中サーバーがトレーニング ステップからユーザーの生の勾配を受信し、モデルの次のバージョンをリリースする前にノイズでその集計を混乱させると信頼されています。
後者の (よりプライベートな) 設定では、ノイズがユーザーのローカル デバイスに適用され、ユーザーのノイズを含む勾配の集計のみがサーバーにも公開されます。
いわゆるマトリックス メカニズムを利用することにより、中央の DP 設定におけるプライバシーとユーティリティのトレードオフを高める点で大きな進歩が見られました。
ただし、ローカル DP 設定では進捗がほとんど停滞しています。
この研究では、両方の長所を達成するために分散マトリックス メカニズムを導入します。
ローカル DP だけでなく、マトリックス メカニズムによるプライバシーとユーティリティのトレードオフも向上します。
私たちは、パックされた秘密の共有を利用してラウンド間で機密の値を安全に転送する暗号プロトコルを提案することでこれを実現します。
このプロトコルは、計算からドロップアウトする可能性のあるユーザーを含め、FL によって要求されるトレーニング ラウンドごとのユーザーの動的な参加に対応します。
私たちは、オーバーヘッドをほとんど追加することなく、以前のローカル DP メカニズムと比較して、私たちのメカニズムが FL モデルのプライバシーとユーティリティのトレードオフを実際に大幅に改善することを示す実験を提供します。

要約(オリジナル)

Federated Learning (FL) has gained lots of traction recently, both in industry and academia. In FL, a machine learning model is trained using data from various end-users arranged in committees across several rounds. Since such data can often be sensitive, a primary challenge in FL is providing privacy while still retaining utility of the model. Differential Privacy (DP) has become the main measure of privacy in the FL setting. DP comes in two flavors: central and local. In the former, a centralized server is trusted to receive the users’ raw gradients from a training step, and then perturb their aggregation with some noise before releasing the next version of the model. In the latter (more private) setting, noise is applied on users’ local devices, and only the aggregation of users’ noisy gradients is revealed even to the server. Great strides have been made in increasing the privacy-utility trade-off in the central DP setting, by utilizing the so-called matrix mechanism. However, progress has been mostly stalled in the local DP setting. In this work, we introduce the distributed matrix mechanism to achieve the best-of-both-worlds; local DP and also better privacy-utility trade-off from the matrix mechanism. We accomplish this by proposing a cryptographic protocol that securely transfers sensitive values across rounds, which makes use of packed secret sharing. This protocol accommodates the dynamic participation of users per training round required by FL, including those that may drop out from the computation. We provide experiments which show that our mechanism indeed significantly improves the privacy-utility trade-off of FL models compared to previous local DP mechanisms, with little added overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google