On the Privacy Effect of Data Enhancement via the Lens of Memorization

要約

機械学習は、学習したモデルがトレーニング データに関する機密情報を明らかにする可能性があることが示されているため、深刻なプライバシーの問題を引き起こします。
多くの研究で、広く採用されているデータ拡張 (DA) および敵対的トレーニング (AT) 技術 (論文ではデータ拡張と呼ばれる) が機械学習モデルのプライバシー漏洩に与える影響が調査されています。
このようなプライバシーへの影響は、多くの場合、メンバーシップ推論攻撃 (MIA) によって測定されます。MIA は、特定の例がトレーニング セットに属しているかどうかを識別することを目的としています。
暗記と呼ばれる新しい視点からプライバシーを調査することを提案します。
暗記のレンズを通して、以前に展開された MIA は、プライバシー リスクが低いサンプルと比較して、メンバーとしてプライバシー リスクが高いサンプルを特定する可能性が低いため、誤解を招く結果を生み出すことがわかりました。
この問題を解決するために、評価のために個々のサンプルの記憶度をキャプチャできる最近の攻撃を展開します。
大規模な実験を通じて、プライバシー、一般化のギャップ、敵対的堅牢性など、機械学習モデルの 3 つの重要な特性間の関連性に関する自明ではない調査結果を明らかにします。
既存の結果とは異なり、一般化のギャップはプライバシー漏洩とあまり相関していないことが示されています。
さらに、より強力な敵対的堅牢性は、モデルがプライバシー攻撃の影響を受けやすいことを必ずしも意味しません。

要約(オリジナル)

Machine learning poses severe privacy concerns as it is shown that the learned models can reveal sensitive information about their training data. Many works have investigated the effect of widely-adopted data augmentation (DA) and adversarial training (AT) techniques, termed data enhancement in the paper, on the privacy leakage of machine learning models. Such privacy effects are often measured by membership inference attacks (MIAs), which aim to identify whether a particular example belongs to the training set or not. We propose to investigate privacy from a new perspective called memorization. Through the lens of memorization, we find that previously deployed MIAs produce misleading results as they are less likely to identify samples with higher privacy risks as members compared to samples with low privacy risks. To solve this problem, we deploy a recent attack that can capture the memorization degrees of individual samples for evaluation. Through extensive experiments, we unveil non-trivial findings about the connections between three important properties of machine learning models, including privacy, generalization gap, and adversarial robustness. We demonstrate that, unlike existing results, the generalization gap is shown not highly correlated with privacy leakage. Moreover, stronger adversarial robustness does not necessarily imply that the model is more susceptible to privacy attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google