Differentially Private Gradient Flow based on the Sliced Wasserstein Distance

要約

機密トレーニング データのプライバシーを保護することは、特に生成モデリングのコンテキストにおいて最も重要です。
これは、差分プライベート確率勾配降下法、またはモデルまたはジェネレーターをトレーニングするための差分プライベート メトリックを通じて実現できます。
この論文では、確率尺度の空間における勾配フローに基づく、新しい差分プライベート生成モデリング アプローチを紹介します。
この目的のために、関連する確率微分方程式 (SDE) を含む、ガウス平滑化スライス ワッサーシュタイン距離の勾配フローを定義します。
この SDE を解くための数値スキームを離散化して定義することにより、SDE のドリフト項の特定の形式による、ガウス メカニズムに基づく平滑化と差分プライバシーの間の関連性を実証します。
次に、SDE 自体によって導入されたスムージングとウィナー プロセスの両方を考慮した、勾配フローの差分プライバシー保証を分析します。
実験の結果、私たちが提案したモデルは、ジェネレーターベースのモデルと比較して低いプライバシー予算でより忠実度の高いデータを生成でき、有望な代替手段となることが示されています。

要約(オリジナル)

Safeguarding privacy in sensitive training data is paramount, particularly in the context of generative modeling. This can be achieved through either differentially private stochastic gradient descent or a differentially private metric for training models or generators. In this paper, we introduce a novel differentially private generative modeling approach based on a gradient flow in the space of probability measures. To this end, we define the gradient flow of the Gaussian-smoothed Sliced Wasserstein Distance, including the associated stochastic differential equation (SDE). By discretizing and defining a numerical scheme for solving this SDE, we demonstrate the link between smoothing and differential privacy based on a Gaussian mechanism, due to a specific form of the SDE’s drift term. We then analyze the differential privacy guarantee of our gradient flow, which accounts for both the smoothing and the Wiener process introduced by the SDE itself. Experiments show that our proposed model can generate higher-fidelity data at a low privacy budget compared to a generator-based model, offering a promising alternative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google