Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models

要約

過去数年間で、拡散モデルを活用したテキストガイドによる画像生成が大幅に進歩しました。
しかし、テキストから画像への拡散モデルは画像の記憶トレーニングに対して脆弱であることが示されており、著作権侵害やプライバシー侵害の懸念が生じています。
この研究では、テキストから画像への拡散モデルにおける記憶の実践的な分析を実行します。
保護する一連の画像を対象として、プロンプトを収集することなく、それらの画像に対して定量的な分析を実行します。
具体的には、まず画像の記憶を形式的に定義し、記憶に必要な 3 つの条件、それぞれ類似性、存在、確率を特定します。
次に、モデルの予測誤差と画像の複製の間の相関関係を明らかにします。
相関関係に基づいて、反転技術を利用して、対象画像の記憶に対する安全性を検証し、記憶される程度を測定することを提案します。
モデル開発者は、当社の分析方法を利用して、記憶された画像を発見したり、記憶に対する安全性を確実に主張したりできます。
人気のあるオープンソースのテキストから画像への拡散モデルである安定拡散に関する広範な実験により、私たちの分析方法の有効性が実証されました。

要約(オリジナル)

The past few years have witnessed substantial advancement in text-guided image generation powered by diffusion models. However, it was shown that text-to-image diffusion models are vulnerable to training image memorization, raising concerns on copyright infringement and privacy invasion. In this work, we perform practical analysis of memorization in text-to-image diffusion models. Targeting a set of images to protect, we conduct quantitive analysis on them without need to collect any prompts. Specifically, we first formally define the memorization of image and identify three necessary conditions of memorization, respectively similarity, existence and probability. We then reveal the correlation between the model’s prediction error and image replication. Based on the correlation, we propose to utilize inversion techniques to verify the safety of target images against memorization and measure the extent to which they are memorized. Model developers can utilize our analysis method to discover memorized images or reliably claim safety against memorization. Extensive experiments on the Stable Diffusion, a popular open-source text-to-image diffusion model, demonstrate the effectiveness of our analysis method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google