Differentially Private Gradient Flow based on the Sliced Wasserstein Distance for Non-Parametric Generative Modeling

要約

機密トレーニング データのプライバシーを保護することは、特に生成モデリングのコンテキストにおいて最も重要です。
これは、差分プライベート確率勾配降下法、またはトレーニング モデルまたはジェネレーター用の差分プライベート メトリックを使用して行われます。
この論文では、確率測度の空間におけるパラメータフリーの勾配フローに基づく、新しい差分プライベート生成モデリング アプローチを紹介します。
提案されたアルゴリズムは、スライスされたワッサーシュタイン距離から導出され、プライベートな方法で計算されたドリフトを利用する、粒子スキームを通じて動作する新しい離散化フローです。
私たちの実験は、ジェネレーターベースのモデルと比較して、私たちが提案するモデルは低いプライバシー予算でより忠実度の高いデータを生成でき、ジェネレーターベースのアプローチに代わる実行可能な代替手段を提供することを示しています。

要約(オリジナル)

Safeguarding privacy in sensitive training data is paramount, particularly in the context of generative modeling. This is done through either differentially private stochastic gradient descent, or with a differentially private metric for training models or generators. In this paper, we introduce a novel differentially private generative modeling approach based on parameter-free gradient flows in the space of probability measures. The proposed algorithm is a new discretized flow which operates through a particle scheme, utilizing drift derived from the sliced Wasserstein distance and computed in a private manner. Our experiments show that compared to a generator-based model, our proposed model can generate higher-fidelity data at a low privacy budget, offering a viable alternative to generator-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google