Differentially Private Image Classification by Learning Priors from Random Processes

要約

プライバシーを保護する機械学習では、差分プライベート確率的勾配降下法 (DP-SGD) は、サンプルごとの勾配クリッピングとノイズの追加により、SGD よりもパフォーマンスが悪くなります。
プライベート学習研究の最近の焦点は、現実世界の公開データで学習された事前分布を組み込むことによって、プライベート データに対する DP-SGD のパフォーマンスを向上させることです。
この研究では、ランダムなプロセスによって生成された画像から事前分布を学習し、これらの事前分布をプライベート データに転送することで、DP-SGD のプライバシーとユーティリティのトレードオフを改善する方法を検討します。
私たちは、3 段階のアプローチである DP-RandP を提案します。
私たちは、さまざまなプライバシー予算 $\varepsilon \in [1, 8]$ に対して CIFAR10、CIFAR100、MedMNIST、ImageNet をゼロからトレーニングすることで、新たな最先端の精度を達成します。
特に、$\varepsilon=1$ の場合、CIFAR10 で以前に報告された最高の精度が $60.6 \%$ から $72.3 \%$ に向上しました。

要約(オリジナル)

In privacy-preserving machine learning, differentially private stochastic gradient descent (DP-SGD) performs worse than SGD due to per-sample gradient clipping and noise addition. A recent focus in private learning research is improving the performance of DP-SGD on private data by incorporating priors that are learned on real-world public data. In this work, we explore how we can improve the privacy-utility tradeoff of DP-SGD by learning priors from images generated by random processes and transferring these priors to private data. We propose DP-RandP, a three-phase approach. We attain new state-of-the-art accuracy when training from scratch on CIFAR10, CIFAR100, MedMNIST and ImageNet for a range of privacy budgets $\varepsilon \in [1, 8]$. In particular, we improve the previous best reported accuracy on CIFAR10 from $60.6 \%$ to $72.3 \%$ for $\varepsilon=1$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google