Differentially Private Optimizers Can Learn Adversarially Robust Models

要約

機械学習モデルはさまざまな分野で注目を集めており、セキュリティとプライバシーの両方のコミュニティからの注目が高まっています。
重要だが懸念すべき質問の 1 つは、差分プライバシー (DP) 制約の下でモデルをトレーニングすると、敵対的な堅牢性に悪影響を与えるでしょうか?
これまでの研究では、プライバシーは堅牢性の低下を犠牲にして実現されると仮定していましたが、私たちは、DP モデルが実際に堅牢で正確であり、場合によっては自然にトレーニングされた非プライベートのモデルよりも堅牢であることを示す最初の理論的分析を行います。
プライバシー、堅牢性、精度のトレードオフに影響を与える 3 つの重要な要素が観察されています。(1) DP オプティマイザーのハイパーパラメーターが重要です。
(2) 公開データでの事前トレーニングにより、精度と堅牢性の低下が大幅に軽減されます。
(3) DP オプティマイザーの選択により違いが生じます。
これらの要素を適切に設定すると、$l_2(0.5)$ 攻撃下では 90\% の自然精度、72\% の堅牢な精度 ($l_2(0.5)$ 攻撃下では 72\% の堅牢な精度 ($+9\%$ 非プライベート モデルより)、69\% の堅牢な精度 ($
$\epsilon=2$ による CIFAR10 に対する $l_\infty(4/255)$ 攻撃下での事前トレーニング済み SimCLRv2 モデルによる非プライベート モデルより +16\%$)。
実際、DP モデルは精度と堅牢性のトレードオフに関してパレート最適であることを理論的にも経験的にも示しています。
経験的に、DP モデルの堅牢性はさまざまなデータセットおよびモデルにわたって一貫して観察されます。
私たちは、この有望な結果が、プライベートかつ堅牢なモデルのトレーニングに向けた重要な一歩となると信じています。

要約(オリジナル)

Machine learning models have shone in a variety of domains and attracted increasing attention from both the security and the privacy communities. One important yet worrying question is: Will training models under the differential privacy (DP) constraint have an unfavorable impact on their adversarial robustness? While previous works have postulated that privacy comes at the cost of worse robustness, we give the first theoretical analysis to show that DP models can indeed be robust and accurate, even sometimes more robust than their naturally-trained non-private counterparts. We observe three key factors that influence the privacy-robustness-accuracy tradeoff: (1) hyper-parameters for DP optimizers are critical; (2) pre-training on public data significantly mitigates the accuracy and robustness drop; (3) choice of DP optimizers makes a difference. With these factors set properly, we achieve 90\% natural accuracy, 72\% robust accuracy ($+9\%$ than the non-private model) under $l_2(0.5)$ attack, and 69\% robust accuracy ($+16\%$ than the non-private model) with pre-trained SimCLRv2 model under $l_\infty(4/255)$ attack on CIFAR10 with $\epsilon=2$. In fact, we show both theoretically and empirically that DP models are Pareto optimal on the accuracy-robustness tradeoff. Empirically, the robustness of DP models is consistently observed across various datasets and models. We believe our encouraging results are a significant step towards training models that are private as well as robust.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google