Privacy Drift: Evolving Privacy Concerns in Incremental Learning

要約

機械学習 (ML) の進化する状況において、フェデレーテッド ラーニング (FL) は、ユーザー データのプライバシーを維持しながら、分散型モデル トレーニングへのパラダイム シフトを示します。
この文書では、よく知られているコンセプト ドリフト現象に匹敵する革新的なフレームワークである「プライバシー ドリフト」の概念を紹介します。
コンセプト ドリフトは、データの変化による時間の経過に伴うモデルの精度の変動に対処しますが、プライバシー ドリフトは、モデルが増分トレーニングを受ける際の個人情報の漏洩の変動をカプセル化します。
この研究は、プライバシー ドリフトを定義して調査することにより、モデルのパフォーマンスの進化とデータ プライバシーの完全性の間の微妙な関係を明らかにすることを目的としています。
私たちは、厳密な実験を通じて、モデルの更新とデータ分散の変化がメンバーシップ推論攻撃 (MIA) などのプライバシー攻撃に対するモデルの感受性にどのように影響するかに焦点を当て、FL システムにおけるプライバシー ドリフトのダイナミクスを調査します。
私たちの結果は、モデルの精度とプライバシー保護の間の複雑な相互作用を浮き彫りにし、モデルのパフォーマンスの向上がプライバシーのリスクの増大につながる可能性があることを明らかにしています。
CIFAR-100 (カナダ高等研究所、100 クラス) から派生したカスタマイズされたデータセットの実験による実証的証拠を提供し、プライバシーに対するデータと概念のドリフトの影響を示します。
この研究は、分散環境におけるモデルの精度とデータプライバシーの間の微妙なバランスを達成することを目的とした、プライバシーを意識した機械学習に関する将来の研究の基礎を築きます。

要約(オリジナル)

In the evolving landscape of machine learning (ML), Federated Learning (FL) presents a paradigm shift towards decentralized model training while preserving user data privacy. This paper introduces the concept of “privacy drift’, an innovative framework that parallels the well-known phenomenon of concept drift. While concept drift addresses the variability in model accuracy over time due to changes in the data, privacy drift encapsulates the variation in the leakage of private information as models undergo incremental training. By defining and examining privacy drift, this study aims to unveil the nuanced relationship between the evolution of model performance and the integrity of data privacy. Through rigorous experimentation, we investigate the dynamics of privacy drift in FL systems, focusing on how model updates and data distribution shifts influence the susceptibility of models to privacy attacks, such as membership inference attacks (MIA). Our results highlight a complex interplay between model accuracy and privacy safeguards, revealing that enhancements in model performance can lead to increased privacy risks. We provide empirical evidence from experiments on customized datasets derived from CIFAR-100 (Canadian Institute for Advanced Research, 100 classes), showcasing the impact of data and concept drift on privacy. This work lays the groundwork for future research on privacy-aware machine learning, aiming to achieve a delicate balance between model accuracy and data privacy in decentralized environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google