Distributed DP-Helmet: Scalable Differentially Private Non-interactive Averaging of Single Layers

要約

この研究では、Distributed DP-Helmet と呼ばれるフレームワークで、2 つの差分プライベート、非インタラクティブな分散学習アルゴリズムを提案します。
私たちのフレームワークは、ブラインド平均化という造語に基づいています。つまり、各ユーザーがモデルをローカルで学習してノイズ処理し、その後、安全な合計プロトコルを介してすべてのユーザーが共同でモデルの平均を計算します。
我々は、SVM と単一 Softmax レイヤ (Softmax-SLP) のブラインド平均化には、ユーティリティとプライバシーの強力なトレードオフがある可能性があるという実験的証拠を提供します。 $\varepsilon$ = 0.4 および 1,000 ユーザーの場合、CIFAR-10 では 86% の精度に達します。
$\varepsilon$ = 1.2 および 100 ユーザーの場合は CIFAR-100 で 44%、$\varepsilon$ = 0.4 および 3,400 ユーザーの場合はフェデレーテッド EMNIST で 39% (すべて SimCLR ベースの事前トレーニング後)。
アブレーションとして、私たちは完全に非 IID 環境に対するアプローチの回復力を研究します。
理論面では、目的関数が滑らかでリプシッツであり、SVM のように強く凸状である場合、ブラインド平均により差分プライバシーが維持されることを示します。
これらの特性は、固定モデル サイズの場合、Softmax-SLP のプライバシー境界 $\varepsilon$ がクラス数に依存しなくなるなど、最終層の微調整によく使用される Softmax-SLP にも当てはまります。
これは、SVM に比べて Softmax-SLP のユーティリティとプライバシーの点で大きな利点があることを示しています。
さらに、限界では、ヒンジ損失 SVM のブラインド平均化が集中学習された SVM に収束します。
後者の結果は代表定理に基づいており、Softmax-SLP などの他の経験的リスク最小化ツール (ERM) の収束を見つけるための青写真と見なすことができます。

要約(オリジナル)

In this work, we propose two differentially private, non-interactive, distributed learning algorithms in a framework called Distributed DP-Helmet. Our framework is based on what we coin blind averaging: each user locally learns and noises a model and all users then jointly compute the mean of their models via a secure summation protocol. We provide experimental evidence that blind averaging for SVMs and single Softmax-layer (Softmax-SLP) can have a strong utility-privacy tradeoff: we reach an accuracy of 86% on CIFAR-10 for $\varepsilon$ = 0.4 and 1,000 users, of 44% on CIFAR-100 for $\varepsilon$ = 1.2 and 100 users, and of 39% on federated EMNIST for $\varepsilon$ = 0.4 and 3,400 users, all after a SimCLR-based pretraining. As an ablation, we study the resilience of our approach to a strongly non-IID setting. On the theoretical side, we show that blind averaging preserves differential privacy if the objective function is smooth, Lipschitz, and strongly convex like SVMs. We show that these properties also hold for Softmax-SLP which is often used for last-layer fine-tuning such that for a fixed model size the privacy bound $\varepsilon$ of Softmax-SLP no longer depends on the number of classes. This marks a significant advantage in utility and privacy of Softmax-SLP over SVMs. Furthermore, in the limit blind averaging of hinge-loss SVMs convergences to a centralized learned SVM. The latter result is based on the representer theorem and can be seen as a blueprint for finding convergence for other empirical risk minimizers (ERM) like Softmax-SLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google