The Impact of Generalization Techniques on the Interplay Among Privacy, Utility, and Fairness in Image Classification

要約

この研究では、機械学習 (ML) を使用した画像分類における公平性、プライバシー、実用性の間のトレードオフを調査します。
最近の研究では、一般化手法によりプライバシーと実用性のバランスを改善できることが示唆されています。
この研究の焦点の 1 つは、シャープネス認識トレーニング (SAT) と、このバランスをさらに改善するための差分プライバシー (DP-SAT) との統合です。
さらに、合成バイアスと現実世界のバイアスを備えたデータセットでトレーニングされたプライベート学習モデルと非プライベート学習モデルの両方の公平性を検証します。
また、メンバーシップ推論攻撃 (MIA) を実行することで、これらのシナリオに含まれるプライバシー リスクを測定し、外れ値と呼ばれるプライバシー リスクの高いサンプルを排除した場合の結果を調査します。
さらに、精度、プライバシー、公平性を 1 つの尺度に組み合わせた \emph{harmonic core} という新しい指標を導入します。
一般化手法を使用した経験的分析により、CIFAR-10 の $(8, 10^{-5})$-DP の下で 81.11\% の精度を達成し、De らによって報告された 79.5\% を上回りました。
（2022年）。
さらに、私たちの実験は、トレーニングサンプルの暗記が過学習点の前に始まる可能性があり、一般化技術はこの暗記の防止を保証しないことを示しています。
合成バイアスの分析では、一般化手法がプライベート モデルと非プライベート モデルの両方でモデル バイアスを増幅する可能性があることが示されています。
さらに、私たちの結果は、トレーニング データの偏りの増大が精度の低下、プライバシー攻撃に対する脆弱性の増大、およびモデルの偏りの増大につながることを示しています。
これらの発見を CelebA データセットで検証し、現実世界の属性の不均衡においても同様の傾向が持続することを示しています。
最後に、私たちの実験では、外れ値データを削除すると精度が低下し、モデルのバイアスがさらに増幅されることがわかりました。

要約(オリジナル)

This study investigates the trade-offs between fairness, privacy, and utility in image classification using machine learning (ML). Recent research suggests that generalization techniques can improve the balance between privacy and utility. One focus of this work is sharpness-aware training (SAT) and its integration with differential privacy (DP-SAT) to further improve this balance. Additionally, we examine fairness in both private and non-private learning models trained on datasets with synthetic and real-world biases. We also measure the privacy risks involved in these scenarios by performing membership inference attacks (MIAs) and explore the consequences of eliminating high-privacy risk samples, termed outliers. Moreover, we introduce a new metric, named \emph{harmonic score}, which combines accuracy, privacy, and fairness into a single measure. Through empirical analysis using generalization techniques, we achieve an accuracy of 81.11\% under $(8, 10^{-5})$-DP on CIFAR-10, surpassing the 79.5\% reported by De et al. (2022). Moreover, our experiments show that memorization of training samples can begin before the overfitting point, and generalization techniques do not guarantee the prevention of this memorization. Our analysis of synthetic biases shows that generalization techniques can amplify model bias in both private and non-private models. Additionally, our results indicate that increased bias in training data leads to reduced accuracy, greater vulnerability to privacy attacks, and higher model bias. We validate these findings with the CelebA dataset, demonstrating that similar trends persist with real-world attribute imbalances. Finally, our experiments show that removing outlier data decreases accuracy and further amplifies model bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google