Arbitrary Decisions are a Hidden Cost of Differentially Private Training

要約

プライバシー保護の機械学習で使用されるメカニズムは、多くの場合、モデルのトレーニング中に差分プライバシー (DP) を保証することを目的としています。
実用的な DP を保証するトレーニング方法では、モデル パラメーターをプライバシーに敏感なデータに適合させるときにランダム化を使用します (クリップされた勾配にガウス ノイズを追加するなど)。
我々は、このようなランダム化が予測多重性を引き起こすことを実証します。特定の入力例に対して、等プライベート モデルによって予測される出力は、トレーニングで使用されるランダム性に依存します。
したがって、特定の入力に対して、同じトレーニング データセットが使用されている場合でも、モデルが再トレーニングされると、予測出力が大幅に変化する可能性があります。
DP トレーニングの予測多重度コストは研究されておらず、現在監査もされておらず、モデル設計者や関係者に伝達されていません。
予測多重度を確実に推定するために必要な再トレーニングの回数の限界を導き出します。
私たちは、出力摂動、客観的摂動、DP-SGD という 3 つの DP 保証アルゴリズムの予測多重度コストを、理論的および広範な実験の両方を通じて分析します。
私たちは、プライバシーのレベルが増加するにつれて予測多重度の度合いが上昇し、データ内の個人および人口統計グループ全体に不均一に分布していることを示します。
トレーニング中に DP を保証するために使用されるランダム性は、一部の例の予測を説明するため、私たちの結果は、一か八かの設定で差分プライベート モデルによってサポートされる決定の正当性に対する根本的な課題を浮き彫りにします。
私たちは、実践者は、個人レベルの結果をもたらすアプリケーションにアルゴリズムを導入する前に、DP を保証するアルゴリズムの予測多重度を監査する必要があると結論付けています。

要約(オリジナル)

Mechanisms used in privacy-preserving machine learning often aim to guarantee differential privacy (DP) during model training. Practical DP-ensuring training methods use randomization when fitting model parameters to privacy-sensitive data (e.g., adding Gaussian noise to clipped gradients). We demonstrate that such randomization incurs predictive multiplicity: for a given input example, the output predicted by equally-private models depends on the randomness used in training. Thus, for a given input, the predicted output can vary drastically if a model is re-trained, even if the same training dataset is used. The predictive-multiplicity cost of DP training has not been studied, and is currently neither audited for nor communicated to model designers and stakeholders. We derive a bound on the number of re-trainings required to estimate predictive multiplicity reliably. We analyze–both theoretically and through extensive experiments–the predictive-multiplicity cost of three DP-ensuring algorithms: output perturbation, objective perturbation, and DP-SGD. We demonstrate that the degree of predictive multiplicity rises as the level of privacy increases, and is unevenly distributed across individuals and demographic groups in the data. Because randomness used to ensure DP during training explains predictions for some examples, our results highlight a fundamental challenge to the justifiability of decisions supported by differentially private models in high-stakes settings. We conclude that practitioners should audit the predictive multiplicity of their DP-ensuring algorithms before deploying them in applications of individual-level consequence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google