Certification for Differentially Private Prediction in Gradient-Based Training

要約

差分プライバシーは機械学習モデルの情報漏洩の上限ですが、意味のあるプライバシー保証を提供することは実際には困難であることが判明しています。
モデル出力がプライベート化されるプライベート予測設定は、予測時に正式な保証を提供する代替方法として研究されています。
ただし、現在のほとんどのプライベート予測アルゴリズムは、ノイズ キャリブレーションのグローバル感度に依存しているため、多くの場合、予測に大量のノイズが追加されます。
スムーズ感度などのデータ固有のノイズ キャリブレーションにより、追加されるノイズの量を大幅に削減できますが、最新の機械学習モデルに対して正確に計算することはこれまでのところ不可能でした。
この研究では、予測の局所的で滑らかな感度の証明可能な上限を計算するために、凸緩和と限界伝播に基づいた斬新で実用的なアプローチを提供します。
この境界により、追加されるノイズの大きさを減らしたり、プライベート予測設定でのプライバシー アカウンティングを改善したりすることができます。
私たちは金融サービス、医療画像分類、自然言語処理からのデータセットとモデル全体のフレームワークを検証し、追加されるノイズを最大で 1 桁削減するアプローチを見つけます。

要約(オリジナル)

Differential privacy upper-bounds the information leakage of machine learning models, yet providing meaningful privacy guarantees has proven to be challenging in practice. The private prediction setting where model outputs are privatized is being investigated as an alternate way to provide formal guarantees at prediction time. Most current private prediction algorithms, however, rely on global sensitivity for noise calibration, which often results in large amounts of noise being added to the predictions. Data-specific noise calibration, such as smooth sensitivity, could significantly reduce the amount of noise added, but were so far infeasible to compute exactly for modern machine learning models. In this work we provide a novel and practical approach based on convex relaxation and bound propagation to compute a provable upper-bound for the local and smooth sensitivity of a prediction. This bound allows us to reduce the magnitude of noise added or improve privacy accounting in the private prediction setting. We validate our framework on datasets from financial services, medical image classification, and natural language processing and across models and find our approach to reduce the noise added by up to order of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google