Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks

要約

さまざまな業界におけるディープラーニングの目覚ましい普及により、AI パイプラインにおけるデータのプライバシーとセキュリティの重要性が浮き彫りになりました。
高度なメンバーシップ推論攻撃 (MIA) の進化により、深層学習モデルのトレーニングに使用される個人固有の情報の機密性が脅かされる中、差分プライバシー (DP) は、悪意のある攻撃からモデルを保護するために最も利用される技術の 1 つとして挙げられています。
ただし、理論的な特性が証明されているにもかかわらず、DP はモデルのパフォーマンスを大幅に妨げ、トレーニング時間を増加させる可能性があるため、現実のシナリオではその使用が非現実的になります。
この問題に取り組むために、モデルのパフォーマンス、速度、プライバシーのバランスを達成することで DP の制限に対処するように設計された新しい学習手法である Discriminative Adversarial Privacy (DAP) を紹介します。
DAP は、MIA の誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵対的トレーニングに依存しています。
さらに、パフォーマンスとプライバシーのトレードオフを把握するために、Accuracy Over Privacy (AOP) という新しい指標を導入します。
最後に、私たちの主張を検証するために、DAP をさまざまな DP シナリオと比較し、パフォーマンス、時間、プライバシー保護の観点から結果を分析します。

要約(オリジナル)

The remarkable proliferation of deep learning across various industries has underscored the importance of data privacy and security in AI pipelines. As the evolution of sophisticated Membership Inference Attacks (MIAs) threatens the secrecy of individual-specific information used for training deep learning models, Differential Privacy (DP) raises as one of the most utilized techniques to protect models against malicious attacks. However, despite its proven theoretical properties, DP can significantly hamper model performance and increase training time, turning its use impractical in real-world scenarios. Tackling this issue, we present Discriminative Adversarial Privacy (DAP), a novel learning technique designed to address the limitations of DP by achieving a balance between model performance, speed, and privacy. DAP relies on adversarial training based on a novel loss function able to minimise the prediction error while maximising the MIA’s error. In addition, we introduce a novel metric named Accuracy Over Privacy (AOP) to capture the performance-privacy trade-off. Finally, to validate our claims, we compare DAP with diverse DP scenarios, providing an analysis of the results from performance, time, and privacy preservation perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google