Augment then Smooth: Reconciling Differential Privacy with Certified Robustness

要約

機械学習モデルは、トレーニング データのプライバシーに対する攻撃や、モデルの精度を危険にさらす敵対的な例など、信頼を損なう可能性のあるさまざまな攻撃の影響を受けやすくなります。
差分プライバシーと認定された堅牢性は、それぞれ将来にわたる保証を提供するため、これら 2 つの脅威にそれぞれ対抗するための効果的なフレームワークです。
ただし、標準の差分プライベート モデル トレーニングでは、強力な認定された堅牢性の保証を提供するには不十分であることを示します。
実際、単一システム内で差分プライバシーと認定された堅牢性を組み合わせるのは簡単ではなく、これまでの研究では柔軟性に欠ける複雑なトレーニング スキームを導入することになりました。
この研究では、ランダム化された平滑化を標準の差分プライベート モデル トレーニングに統合することで、プライバシーと堅牢性の両方の保証を同時に実現するシンプルで効果的な方法である DP-CERT を紹介します。
主要な先行研究と比較して、DP-CERT は、CIFAR10 における同じ差分プライバシー保証の認定精度を最大 2.5% 向上させています。
サンプルごとの詳細なメトリクス分析を通じて、より大きな証明可能な半径はより小さな局所リプシッツ定数と相関があることがわかり、DP-CERT が他の差分プライベート トレーニング方法と比較してリプシッツ定数を効果的に低減することを示します。
コードは github.com/layer6ai-labs/dp-cert で入手できます。

要約(オリジナル)

Machine learning models are susceptible to a variety of attacks that can erode trust, including attacks against the privacy of training data, and adversarial examples that jeopardize model accuracy. Differential privacy and certified robustness are effective frameworks for combating these two threats respectively, as they each provide future-proof guarantees. However, we show that standard differentially private model training is insufficient for providing strong certified robustness guarantees. Indeed, combining differential privacy and certified robustness in a single system is non-trivial, leading previous works to introduce complex training schemes that lack flexibility. In this work, we present DP-CERT, a simple and effective method that achieves both privacy and robustness guarantees simultaneously by integrating randomized smoothing into standard differentially private model training. Compared to the leading prior work, DP-CERT gives up to a 2.5% increase in certified accuracy for the same differential privacy guarantee on CIFAR10. Through in-depth per-sample metric analysis, we find that larger certifiable radii correlate with smaller local Lipschitz constants, and show that DP-CERT effectively reduces Lipschitz constants compared to other differentially private training methods. The code is available at github.com/layer6ai-labs/dp-cert.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google