Disparate Impact in Differential Privacy from Gradient Misalignment

要約

機械学習が社会全体に普及するにつれて、データのプライバシーや公平性などの側面を慎重に検討する必要があり、規制の厳しい業界での展開には不可欠です。
残念ながら、プライバシー強化技術を適用すると、モデルの不公平な傾向が悪化する可能性があります。
特に、プライベート モデルのトレーニングで最も広く使用されている手法の 1 つである微分プライベート確率的勾配降下法 (DPSGD) は、データ内のグループへの異なる影響を頻繁に強めます。
この作業では、DPSGD の不公平性のきめの細かい原因を調査し、不公平な勾配クリッピングによる勾配のずれを最も重要な原因として特定します。
この観察結果は、DPSGD での勾配のずれを防ぐことによって不公平を減らすための新しい方法につながります。

要約(オリジナル)

As machine learning becomes more widespread throughout society, aspects including data privacy and fairness must be carefully considered, and are crucial for deployment in highly regulated industries. Unfortunately, the application of privacy enhancing technologies can worsen unfair tendencies in models. In particular, one of the most widely used techniques for private model training, differentially private stochastic gradient descent (DPSGD), frequently intensifies disparate impact on groups within data. In this work we study the fine-grained causes of unfairness in DPSGD and identify gradient misalignment due to inequitable gradient clipping as the most significant source. This observation leads us to a new method for reducing unfairness by preventing gradient misalignment in DPSGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google