A Probabilistic Fluctuation based Membership Inference Attack for Generative Models

要約

Membership Inference Attack (MIA) は、モデルにクエリを実行することで、機械学習モデルのトレーニング セットにレコードが存在するかどうかを特定します。
古典的な分類モデルの MIA はよく研究されており、最近の研究では MIA を生成モデルに移植する方法を探求し始めています。
私たちの調査によると、生成モデル用に設計された既存の MIA は主にターゲット モデルのオーバーフィッティングに依存していることがわかりました。
ただし、オーバーフィッティングはさまざまな正則化手法を採用することで回避できますが、既存の MIA は実際にはパフォーマンスが劣ります。
過剰学習とは異なり、深層学習モデルが最適なパフォーマンスを達成するには暗記が不可欠であり、この現象がより一般的になっています。
生成モデルでの記憶は、メンバー レコードを中心にレコードを生成する確率分布の増加傾向につながります。
したがって、我々は、特定のレコードの周りの全体的な確率的変動を分析することによってこれらの傾向を検出することによってメンバーシップを推測するブラックボックス MIA である確率的変動評価メンバーシップ推論攻撃 (PFAMI) を提案します。
私たちは複数の生成モデルとデータセットにわたって広範な実験を実施し、PFAMI が最良のベースラインと比較して攻撃成功率 (ASR) を約 27.9% 改善できることを実証しました。

要約(オリジナル)

Membership Inference Attack (MIA) identifies whether a record exists in a machine learning model’s training set by querying the model. MIAs on the classic classification models have been well-studied, and recent works have started to explore how to transplant MIA onto generative models. Our investigation indicates that existing MIAs designed for generative models mainly depend on the overfitting in target models. However, overfitting can be avoided by employing various regularization techniques, whereas existing MIAs demonstrate poor performance in practice. Unlike overfitting, memorization is essential for deep learning models to attain optimal performance, making it a more prevalent phenomenon. Memorization in generative models leads to an increasing trend in the probability distribution of generating records around the member record. Therefore, we propose a Probabilistic Fluctuation Assessing Membership Inference Attack (PFAMI), a black-box MIA that infers memberships by detecting these trends via analyzing the overall probabilistic fluctuations around given records. We conduct extensive experiments across multiple generative models and datasets, which demonstrate PFAMI can improve the attack success rate (ASR) by about 27.9% when compared with the best baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google