Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling

要約

差分プライバシー保証により、機密データを含む統計分析の結果を、参加する個人のプライバシーを侵害することなく公開できます。
このような保証を達成するには、通常、パラメータ推定値または推定プロセスに直接ノイズを注入する必要があります。
人為的に摂動を導入する代わりに、ベイジアン事後分布からのサンプリングは指数関数メカニズムの特殊なケースであることが示されており、データ生成プロセスを変更することなく一貫性のある効率的なプライベート推定値を生成します。
しかし、現在のアプローチの適用は、単純な線形回帰変数などの基本モデルには当てはまらない強い境界仮定によって制限されています。
これを改善するために、モデルとデータ生成プロセス間の $\beta$ 乖離の最小化を目的とした一般化事後法からの事後サンプリング スキーム $\beta$D-Bayes を提案します。
これにより、基礎となるモデルを変更することなく一般に適用可能なプライベート推定が提供され、データ生成パラメーターが一貫して学習されます。
私たちは、$\beta$D-Bayes が同じプライバシー保証に対してより正確な推論推定を生成し、複雑な分類器やニューラル ネットワークなどの連続回帰モデルの事後サンプリングを介した差分プライベート推定を初めて容易にすることを示します。

要約(オリジナル)

Differential privacy guarantees allow the results of a statistical analysis involving sensitive data to be released without compromising the privacy of any individual taking part. Achieving such guarantees generally requires the injection of noise, either directly into parameter estimates or into the estimation process. Instead of artificially introducing perturbations, sampling from Bayesian posterior distributions has been shown to be a special case of the exponential mechanism, producing consistent, and efficient private estimates without altering the data generative process. The application of current approaches has, however, been limited by their strong bounding assumptions which do not hold for basic models, such as simple linear regressors. To ameliorate this, we propose $\beta$D-Bayes, a posterior sampling scheme from a generalised posterior targeting the minimisation of the $\beta$-divergence between the model and the data generating process. This provides private estimation that is generally applicable without requiring changes to the underlying model and consistently learns the data generating parameter. We show that $\beta$D-Bayes produces more precise inference estimation for the same privacy guarantees, and further facilitates differentially private estimation via posterior sampling for complex classifiers and continuous regression models such as neural networks for the first time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google