Have it your way: Individualized Privacy Assignment for DP-SGD

要約

差分プライバシーを使用して機械学習モデルをトレーニングする場合、プライバシー予算を設定します。
この予算は、ユーザーが自分のデータをトレーニング セットに提供することで直面することをいとわない最大のプライバシー侵害を表します。
ユーザーによってプライバシーに対する期待も異なる可能性があるため、このアプローチには限界があると私たちは主張します。
したがって、すべてのポイントにわたって均一なプライバシー予算を設定すると、一部のユーザーにとって過度に保守的になる可能性があり、逆に、他のユーザーにとっては十分な保護にならない可能性があります。
このペーパーでは、個別のプライバシー予算を通じてこれらの好みを把握します。
それらの実用性を実証するために、このような個別の予算をサポートする差分プライベート確率勾配降下法 (DP-SGD) のバリアントを紹介します。
DP-SGD は、差分プライバシーを使用してモデルをトレーニングするための標準的なアプローチです。
データ サンプリングと勾配ノイズ メカニズムを変更して、個別化 DP-SGD (IDP-SGD) と呼ばれるアプローチに到達しました。
IDP-SGD は、個々のユーザーの好みとそのデータ ポイントに合わせたプライバシー保証を提供するため、経験的にプライバシーとユーティリティのトレードオフが改善されることがわかりました。

要約(オリジナル)

When training a machine learning model with differential privacy, one sets a privacy budget. This budget represents a maximal privacy violation that any user is willing to face by contributing their data to the training set. We argue that this approach is limited because different users may have different privacy expectations. Thus, setting a uniform privacy budget across all points may be overly conservative for some users or, conversely, not sufficiently protective for others. In this paper, we capture these preferences through individualized privacy budgets. To demonstrate their practicality, we introduce a variant of Differentially Private Stochastic Gradient Descent (DP-SGD) which supports such individualized budgets. DP-SGD is the canonical approach to training models with differential privacy. We modify its data sampling and gradient noising mechanisms to arrive at our approach, which we call Individualized DP-SGD (IDP-SGD). Because IDP-SGD provides privacy guarantees tailored to the preferences of individual users and their data points, we find it empirically improves privacy-utility trade-offs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google