Membership Inference Attacks on Diffusion Models via Quantile Regression

要約

最近、拡散モデルは高品質の出力のため、画像合成用のツールとして人気があります。
ただし、他の大規模モデルと同様に、トレーニング データに関する個人情報が漏洩する可能性があります。
ここでは、 \emph{メンバーシップ推論 (MI) 攻撃} による拡散モデルのプライバシーの脆弱性を示します。これは、トレーニング済みの拡散モデルが与えられた場合に、ターゲットの例がトレーニング セットに属するかどうかを識別することを目的としています。
私たちが提案する MI 攻撃は、トレーニングに使用されなかった例の再構成損失の分布 (の分位値) を予測する分位点回帰モデルを学習します。
これにより、例に合わせたカスタムしきい値を使用したそのポイントの再構成損失のしきい値処理に基づいて、トレーニング セット内のポイントのメンバーシップを決定するための詳細な仮説検定を定義できます。
また、「弱い攻撃者の集団」に対する多数派メンバーの予測を行う単純なブートストラップ手法も提供します。これにより、個々の分位点回帰モデルの精度が向上します。
私たちの攻撃は、計算コストが大幅に低く抑えられながら、以前の最先端の攻撃よりも優れていることを示します。以前の攻撃では、攻撃対象のモデルと同じアーキテクチャを持つ複数の「シャドウ モデル」をトレーニングする必要がありましたが、私たちの攻撃ではトレーニングが必要でした。
はるかに小さいモデルのみ。

要約(オリジナル)

Recently, diffusion models have become popular tools for image synthesis because of their high-quality outputs. However, like other large-scale models, they may leak private information about their training data. Here, we demonstrate a privacy vulnerability of diffusion models through a \emph{membership inference (MI) attack}, which aims to identify whether a target example belongs to the training set when given the trained diffusion model. Our proposed MI attack learns quantile regression models that predict (a quantile of) the distribution of reconstruction loss on examples not used in training. This allows us to define a granular hypothesis test for determining the membership of a point in the training set, based on thresholding the reconstruction loss of that point using a custom threshold tailored to the example. We also provide a simple bootstrap technique that takes a majority membership prediction over “a bag of weak attackers” which improves the accuracy over individual quantile regression models. We show that our attack outperforms the prior state-of-the-art attack while being substantially less computationally expensive — prior attacks required training multiple “shadow models” with the same architecture as the model under attack, whereas our attack requires training only much smaller models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google