Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk

要約

最近、拡散モデルはリアルな画像の生成において目覚ましい進歩を示していますが、プライバシーのリスクも生じています。公開されたモデルまたは API がトレーニング画像を生成するため、プライバシーに配慮したトレーニング情報が漏洩する可能性があります。
このペーパーでは、操作されたデータを使用して事前トレーニングされたモデルを微調整すると、既存のプライバシー リスクが増幅される可能性があるという新しいリスクである Shake-to-Leak (S2L) を明らかにします。
我々は、S2L が、コンセプト注入法 (DreamBooth と Textual Inversion) やパラメータ効率の高い手法 (LoRA と Hypernetwork)、およびそれらの組み合わせを含む、拡散モデルのさまざまな標準的な微調整戦略で発生する可能性があることを実証します。
最悪の場合、S2L は拡散モデルに対する最先端のメンバーシップ推論攻撃 (MIA) を $5.4\%$ (絶対差分) AUC だけ増幅し、抽出されたプライベート サンプルをほぼ $0$ のサンプルから $15.8$ のサンプルまで増加させる可能性があります。
ターゲットドメインあたりの平均。
この発見は、拡散モデルに伴うプライバシー リスクが以前に認識されていたよりもさらに深刻であることを強調しています。
コードは https://github.com/VITA-Group/Shake-to-Leak で入手できます。

要約(オリジナル)

While diffusion models have recently demonstrated remarkable progress in generating realistic images, privacy risks also arise: published models or APIs could generate training images and thus leak privacy-sensitive training information. In this paper, we reveal a new risk, Shake-to-Leak (S2L), that fine-tuning the pre-trained models with manipulated data can amplify the existing privacy risks. We demonstrate that S2L could occur in various standard fine-tuning strategies for diffusion models, including concept-injection methods (DreamBooth and Textual Inversion) and parameter-efficient methods (LoRA and Hypernetwork), as well as their combinations. In the worst case, S2L can amplify the state-of-the-art membership inference attack (MIA) on diffusion models by $5.4\%$ (absolute difference) AUC and can increase extracted private samples from almost $0$ samples to $15.8$ samples on average per target domain. This discovery underscores that the privacy risk with diffusion models is even more severe than previously recognized. Codes are available at https://github.com/VITA-Group/Shake-to-Leak.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google