A Reproducible Extraction of Training Images from Diffusion Models

要約

最近、Carlini ら。
は、広く使用されているモデルである安定拡散が実際のトレーニング サンプルを逆流させる可能性があり、これは著作権の観点から問題であることを実証しました。
この研究では、ネットワーク評価が数桁少ない、最近の攻撃と同等の効率的な抽出攻撃を提供します。
その過程で、拡散モデルが訓練サンプルをほとんどそのままの状態で逆流させるという、私たちが文字通りテンプレートと呼ぶ新しい現象を明らかにします。
テンプレートの逐語的表現は、正しくラベルを付けるために取得とマスキングが必要なため、検出が困難です。
さらに、それらは、トレーニング セットの重複を排除した新しいシステムであっても、依然として生成されており、生成中に依然として表示される理由についての洞察が得られます。
私たちは、Stable Diffusion 2.0、Deep Image Floyd、そして最後に Midjourney v4 など、いくつかの最先端のシステムからトレーニング画像を抽出します。
抽出攻撃を検証し、攻撃を実行するためのコードと、抽出されたすべてのプロンプトを \url{https://github.com/ryanwebster90/onestep-extraction} でリリースします。

要約(オリジナル)

Recently, Carlini et al. demonstrated the widely used model Stable Diffusion can regurgitate real training samples, which is troublesome from a copyright perspective. In this work, we provide an efficient extraction attack on par with the recent attack, with several order of magnitudes less network evaluations. In the process, we expose a new phenomena, which we dub template verbatims, wherein a diffusion model will regurgitate a training sample largely in tact. Template verbatims are harder to detect as they require retrieval and masking to correctly label. Furthermore, they are still generated by newer systems, even those which de-duplicate their training set, and we give insight into why they still appear during generation. We extract training images from several state of the art systems, including Stable Diffusion 2.0, Deep Image Floyd, and finally Midjourney v4. We release code to verify our extraction attack, perform the attack, as well as all extracted prompts at \url{https://github.com/ryanwebster90/onestep-extraction}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google