Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? A Path through the Accuracy-Privacy Ceiling Constraining Differentially Private ML

要約

差分的私的機械学習（ML）の最先端かつデファクトスタンダードは、差分的私的確率勾配降下法（DPSGD）である。しかし、この方法は本質的に無駄が多い。すべての勾配にノイズを加えることで、勾配のステップごとに全体的なプライバシーが低下してしまうのだ。構成定理、サブサンプリング法、実装技術を進歩させる15年にわたる実りある研究にもかかわらず、現在の私的ML手法では十分な精度とプライバシーを達成できないことが多い。一方、Exponential Mechanism (ExpM)は私的最適化のために設計されたものであるが、ExpMは歴史的に困難な密度からのサンプリングを必要とするため、現代のMLアルゴリズムの私的訓練からは歴史的に見放されてきた。最近、難解な分布を近似するための表現力豊かなディープネットワークである正規化フローモデル（NFs）が発見されたにもかかわらず、ExpMはバックグラウンドにとどまっています。我々は、ExpMの歴史的な障害を回避するためにNFを活用することは、注目すべき差分プライベートMLのための潜在的に変革的なソリューションであるという立場である。DPSGDに代わる可能性のある新しい学習方法ExpM+NFを紹介し、ExpM+NFによる学習が「良い」プライバシーパラメータで実行可能かどうかを検証するために、ロジスティック回帰と最新のディープラーニングモデルを用いた実験を提供する。NF出力分布がExpM分布であるという仮定の下で、我々は$1mathrm{e}{-3}$という低い$varepsilonを達成することができる。本研究は、NF近似保証の発見という、差分的私的MLを進歩させるための新しい道を概説する。コードはレビュー後に提供する。

要約(オリジナル)

The state of the art and de facto standard for differentially private machine learning (ML) is differentially private stochastic gradient descent (DPSGD). Yet, the method is inherently wasteful. By adding noise to every gradient, it diminishes the overall privacy with every gradient step. Despite 15 years of fruitful research advancing the composition theorems, sub-sampling methods, and implementation techniques, adequate accuracy and privacy is often unattainable with current private ML methods. Meanwhile, the Exponential Mechanism (ExpM), designed for private optimization, has been historically sidelined from privately training modern ML algorithms primarily because ExpM requires sampling from a historically intractable density. Despite the recent discovery of Normalizing Flow models (NFs), expressive deep networks for approximating intractable distributions, ExpM remains in the background. Our position is that leveraging NFs to circumvent historic obstructions of ExpM is a potentially transformational solution for differentially private ML worth attention. We introduce a new training method, ExpM+NF, as a potential alternative to DPSGD, and we provide experiment with logistic regression and a modern deep learning model to test whether training via ExpM+NF is viable with ‘good’ privacy parameters. Under the assumption that the NF output distribution is the ExpM distribution, we are able to achieve $\varepsilon$ a low as $1\mathrm{e}{-3}$ — three orders of magnitude stronger privacy with similar accuracy. This work outlines a new avenue for advancing differentially private ML, namely discovering NF approximation guarantees. Code to be provided after review.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL