Extracting Training Data from Diffusion Models

要約

DALL-E 2、Imagen、Stable Diffusion などの画像拡散モデルは、高品質の合成画像を生成できるため、大きな注目を集めています。
この作業では、拡散モデルがトレーニング データから個々の画像を記憶し、生成時にそれらを放出することを示します。
生成とフィルター処理のパイプラインを使用して、個々の人物の写真から商標登録された会社のロゴに至るまで、最先端のモデルから 1,000 を超えるトレーニング サンプルを抽出します。
また、さまざまな設定で数百の拡散モデルをトレーニングして、さまざまなモデリングとデータの決定がプライバシーにどのように影響するかを分析します。
全体として、私たちの結果は、拡散モデルはGANなどの以前の生成モデルよりもはるかにプライベートではないこと、およびこれらの脆弱性を軽減するにはプライバシー保護トレーニングの新しい進歩が必要になる可能性があることを示しています.

要約(オリジナル)

Image diffusion models such as DALL-E 2, Imagen, and Stable Diffusion have attracted significant attention due to their ability to generate high-quality synthetic images. In this work, we show that diffusion models memorize individual images from their training data and emit them at generation time. With a generate-and-filter pipeline, we extract over a thousand training examples from state-of-the-art models, ranging from photographs of individual people to trademarked company logos. We also train hundreds of diffusion models in various settings to analyze how different modeling and data decisions affect privacy. Overall, our results show that diffusion models are much less private than prior generative models such as GANs, and that mitigating these vulnerabilities may require new advances in privacy-preserving training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google