Unlocking High-Accuracy Differentially Private Image Classification through Scale

要約

差分プライバシー（DP）は、機械学習モデルにアクセスできる攻撃者が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供します。
深層学習で最も一般的なDPトレーニング方法である差分プライベート確率的勾配降下法（DP-SGD）は、トレーニング中にノイズを注入することでこの保護を実現します。
ただし、以前の研究では、DP-SGDが標準の画像分類ベンチマークのパフォーマンスを大幅に低下させることがよくあることがわかっています。
さらに、プライバシーを維持するために必要なノイズのノルムはモデルの寸法に比例するため、一部の作成者は、DP-SGDは本質的に大きなモデルではパフォーマンスが低いと仮定しています。
対照的に、過剰にパラメータ化されたモデルのDP-SGDは、以前に考えられていたよりも大幅に優れたパフォーマンスを発揮できることを示しています。
注意深いハイパーパラメータ調整と単純な手法を組み合わせて、信号の伝播を確保し、収束率を向上させることで、40を使用して（8、10 ^ {-5}）-DPで81.4％のCIFAR-10に関する追加データなしで新しいSOTAを取得します。
-layer Wide-ResNet、以前のSOTAの71.7％よりも向上。
事前にトレーニングされたNFNet-F3を微調整すると、（0.5、8 * 10 ^ {-7}）-DPの下でImageNetで83.8％のトップ1精度を達成します。
さらに、（8、8 \ cdot 10 ^ {-7}）-DPで86.7％のトップ1精度を達成します。これは、このタスクの現在の非プライベートSOTAをわずか4.3％下回っています。
私たちの結果は、プライベート画像分類と非プライベート画像分類の間の精度のギャップを埋めるための重要なステップであると信じています。

要約(オリジナル)

Differential Privacy (DP) provides a formal privacy guarantee preventing adversaries with access to a machine learning model from extracting information about individual training points. Differentially Private Stochastic Gradient Descent (DP-SGD), the most popular DP training method for deep learning, realizes this protection by injecting noise during training. However previous works have found that DP-SGD often leads to a significant degradation in performance on standard image classification benchmarks. Furthermore, some authors have postulated that DP-SGD inherently performs poorly on large models, since the norm of the noise required to preserve privacy is proportional to the model dimension. In contrast, we demonstrate that DP-SGD on over-parameterized models can perform significantly better than previously thought. Combining careful hyper-parameter tuning with simple techniques to ensure signal propagation and improve the convergence rate, we obtain a new SOTA without extra data on CIFAR-10 of 81.4% under (8, 10^{-5})-DP using a 40-layer Wide-ResNet, improving over the previous SOTA of 71.7%. When fine-tuning a pre-trained NFNet-F3, we achieve a remarkable 83.8% top-1 accuracy on ImageNet under (0.5, 8*10^{-7})-DP. Additionally, we also achieve 86.7% top-1 accuracy under (8, 8 \cdot 10^{-7})-DP, which is just 4.3% below the current non-private SOTA for this task. We believe our results are a significant step towards closing the accuracy gap between private and non-private image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google