Rényi Pufferfish Privacy: General Additive Noise Mechanisms and Privacy Amplification by Iteration

要約

Pufferfish プライバシーは、差分プライバシーを柔軟に一般化したもので、任意の秘密やデータに関する敵対者の事前知識をモデル化できます。
残念ながら、実用性を損なうことなく、一般的で扱いやすい Pufferfish メカニズムを設計するのは困難です。
さらに、このフレームワークは、反復機械学習アルゴリズムでの直接使用に必要な構成保証を提供しません。
これらの問題を軽減するために、R\’enyi 発散ベースの Pufferfish のバリアントを導入し、それによって Pufferfish フレームワークの適用可能性を拡張できることを示します。
まず、広範囲のノイズ分布をカバーするために Wasserstein メカニズムを一般化し、その実用性を向上させるいくつかの方法を紹介します。
また、配布範囲外の敵対者に対するより強力な保証も導き出します。
最後に、合成の代替として、ノイズの多い収縮反復に対するプライバシー増幅の結果を証明し、プライベート凸最適化における Pufferfish の最初の使用を紹介します。
私たちの結果の根底にある共通の要素は、シフト削減補題の使用と拡張です。

要約(オリジナル)

Pufferfish privacy is a flexible generalization of differential privacy that allows to model arbitrary secrets and adversary’s prior knowledge about the data. Unfortunately, designing general and tractable Pufferfish mechanisms that do not compromise utility is challenging. Furthermore, this framework does not provide the composition guarantees needed for a direct use in iterative machine learning algorithms. To mitigate these issues, we introduce a R\’enyi divergence-based variant of Pufferfish and show that it allows us to extend the applicability of the Pufferfish framework. We first generalize the Wasserstein mechanism to cover a wide range of noise distributions and introduce several ways to improve its utility. We also derive stronger guarantees against out-of-distribution adversaries. Finally, as an alternative to composition, we prove privacy amplification results for contractive noisy iterations and showcase the first use of Pufferfish in private convex optimization. A common ingredient underlying our results is the use and extension of shift reduction lemmas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google