The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data

要約

差次的にプライベートな（DP）生成限界モデルは、野生でよく使用され、正式なプライバシー保証を提供しながら、機密データの代わりに合成表形式データセットを放出します。
これらのモデルは、低次元の限界またはクエリワークロードを近似しています。
重要なことに、彼らはトレーニングデータを事前に議論する必要があります。つまり、まずビンに分割する必要があります。
ただし、値（またはそのドメイン）の範囲はトレーニングデータから直接推測されることが多く、ビンとビンのエッジの数は通常任意に定義されているため、このアプローチは最終的にエンドツーエンドのDP保証を破壊する可能性があり、常に最適なユーティリティを生成するとは限りません。
この論文では、DPの限界生成モデルのコンテキストで4つの離散化戦略の広範な測定研究を提示します。
より正確には、3つの離散剤（均一、分位、k-means）のDPバージョンを設計し、Privtreeアルゴリズムを再実装します。
離散剤とビンカウントの選択を最適化すると、デフォルトの戦略とビンの数と比較して、平均して6つのDPの限界モデルで平均30％を改善できることがわかります。
非プライベート離散化を伴うDP生成モデルは、メンバーシップ推論攻撃に対して脆弱なままである一方で、離散化中にDPを適用するとこのリスクを効果的に緩和することを実証します。
最後に、最適な数のビンを自動的に選択し、プライバシー予算の消費と計算オーバーヘッドの両方を削減しながら高いユーティリティを実現するための最適化されたアプローチを提案します。

要約(オリジナル)

Differentially Private (DP) generative marginal models are often used in the wild to release synthetic tabular datasets in lieu of sensitive data while providing formal privacy guarantees. These models approximate low-dimensional marginals or query workloads; crucially, they require the training data to be pre-discretized, i.e., continuous values need to first be partitioned into bins. However, as the range of values (or their domain) is often inferred directly from the training data, with the number of bins and bin edges typically defined arbitrarily, this approach can ultimately break end-to-end DP guarantees and may not always yield optimal utility. In this paper, we present an extensive measurement study of four discretization strategies in the context of DP marginal generative models. More precisely, we design DP versions of three discretizers (uniform, quantile, and k-means) and reimplement the PrivTree algorithm. We find that optimizing both the choice of discretizer and bin count can improve utility, on average, by almost 30% across six DP marginal models, compared to the default strategy and number of bins, with PrivTree being the best-performing discretizer in the majority of cases. We demonstrate that, while DP generative models with non-private discretization remain vulnerable to membership inference attacks, applying DP during discretization effectively mitigates this risk. Finally, we propose an optimized approach for automatically selecting the optimal number of bins, achieving high utility while reducing both privacy budget consumption and computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google