Differentially Private Optimizers Can Learn Adversarially Robust Models

要約

機械学習モデルはさまざまな分野で活躍しており、セキュリティ コミュニティとプライバシー コミュニティの両方から注目を集めています。
重要でありながら懸念すべき問題の 1 つは、差分プライバシー (DP) 制約の下でモデルをトレーニングすると、敵対的ロバスト性に悪影響を与えるのでしょうか?
以前の研究では、プライバシーは堅牢性の低下を犠牲にしていると仮定されていましたが、DP モデルが実際に堅牢で正確であり、時には自然に訓練された非プライベートの対応物よりも堅牢であることさえあることを示す最初の理論的分析を行います。
プライバシー、堅牢性、精度のトレードオフに影響を与える 3 つの重要な要因を観察します。(1) DP オプティマイザーのハイパーパラメーターは重要です。
(2) 公開データの事前トレーニングにより、精度と堅牢性の低下が大幅に軽減されます。
(3) DP オプティマイザーの選択によって違いが生じます。
これらの要因を適切に設定すると、$l_2(0.5)$ 攻撃の下で 90\% の自然精度、72\% の堅牢な精度 (非プライベート モデルよりも $+9\%$)、および 69\% の堅牢な精度 ($
$\epsilon=2$ の CIFAR10 に対する $l_\infty(4/255)$ 攻撃の下で、事前にトレーニングされた SimCLRv2 モデルを使用して、非プライベート モデルよりも +16\%$。
実際、DP モデルは精度とロバスト性のトレードオフでパレート最適であることを理論的にも経験的にも示しています。
経験的に、DP モデルの堅牢性は、ResNet および Vision Transformer を使用して、MNIST、Fashion MNIST、および CelebA データセットで一貫して観察されています。
私たちの有望な結果は、プライベートで堅牢なモデルのトレーニングに向けた重要なステップであると信じています。

要約(オリジナル)

Machine learning models have shone in a variety of domains and attracted increasing attention from both the security and the privacy communities. One important yet worrying question is: will training models under the differential privacy (DP) constraint unfavorably impact on the adversarial robustness? While previous works have postulated that privacy comes at the cost of worse robustness, we give the first theoretical analysis to show that DP models can indeed be robust and accurate, even sometimes more robust than their naturally-trained non-private counterparts. We observe three key factors that influence the privacy-robustness-accuracy tradeoff: (1) hyperparameters for DP optimizers are critical; (2) pre-training on public data significantly mitigates the accuracy and robustness drop; (3) choice of DP optimizers makes a difference. With these factors set properly, we achieve 90\% natural accuracy, 72\% robust accuracy ($+9\%$ than the non-private model) under $l_2(0.5)$ attack, and 69\% robust accuracy ($+16\%$ than the non-private model) with pre-trained SimCLRv2 model under $l_\infty(4/255)$ attack on CIFAR10 with $\epsilon=2$. In fact, we show both theoretically and empirically that DP models are Pareto optimal on the accuracy-robustness tradeoff. Empirically, the robustness of DP models is consistently observed on MNIST, Fashion MNIST and CelebA datasets, with ResNet and Vision Transformer. We believe our encouraging results are a significant step towards training models that are private as well as robust.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google