Have it your way: Individualized Privacy Assignment for DP-SGD

要約

タイトル：DP-SGDのための個別プライバシー割り当て

要約：

– 機械学習モデルを差分プライバシーを用いてトレーニングする場合、プライバシー予算を設定します。この予算は、トレーニングセットにデータを提供することによってユーザーが直面する最大のプライバシー違反を表します。
– 異なるユーザーは異なるプライバシーの期待値を持っているため、すべてのポイントに対して一様なプライバシー予算を設定することは制限されていると言えます。
– したがって、すべてのポイントに対して一様なプライバシー予算を設定することは、一部のユーザーにとっては過剰に保守的であり、逆に他のユーザーにとっては十分に保護されていない可能性があります。
– 本論文では、個々のプライバシー予算を介してこれらの好みを捕捉します。その実用性を示すために、異なるプライバシー予算をサポートするDP-SGDの変種を紹介します。
– DP-SGDは差分プライバシーを用いたモデルのトレーニングのカノニカルなアプローチです。データサンプリングと勾配ノイジングのメカニズムを変更して、個別プライバシー予算に対応したアプローチを作成します。
– 以下のようなアプローチにたどり着きます、Individualized DP-SGD (IDP-SGD)。IDP-SGDは、個々のユーザーやそのデータポイントの好みに合わせたプライバシー保証を提供するため、実際にはプライバシーと有用性のトレードオフを改善することがわかります。

要約(オリジナル)

When training a machine learning model with differential privacy, one sets a privacy budget. This budget represents a maximal privacy violation that any user is willing to face by contributing their data to the training set. We argue that this approach is limited because different users may have different privacy expectations. Thus, setting a uniform privacy budget across all points may be overly conservative for some users or, conversely, not sufficiently protective for others. In this paper, we capture these preferences through individualized privacy budgets. To demonstrate their practicality, we introduce a variant of Differentially Private Stochastic Gradient Descent (DP-SGD) which supports such individualized budgets. DP-SGD is the canonical approach to training models with differential privacy. We modify its data sampling and gradient noising mechanisms to arrive at our approach, which we call Individualized DP-SGD (IDP-SGD). Because IDP-SGD provides privacy guarantees tailored to the preferences of individual users and their data points, we find it empirically improves privacy-utility trade-offs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI