Extracting Training Data from Unconditional Diffusion Models

要約

拡散確率モデル（DPMS）が生成人工知能（Genai）の主流モデルとして採用されているため、彼らの暗記の研究は注目を集めています。
この分野の既存の作品は、DPMが暗記によってどの程度学習するかどうか、またはどの程度学習するかを理解することを目指しています。
このような理解は、拡散モデルにおけるデータの漏れと著作権侵害の潜在的なリスクを特定するために、さらに重要なことに、gena​​iの信頼できる適用のために重要です。
既存の作品は、条件付きDPMが無条件のDPMよりもトレーニングデータを記憶する傾向があることを明らかにしました。
そして、これまでに開発されたほとんどのデータ抽出方法条件付きDPMを対象としました。
無条件のDPMはデータ抽出の発生傾向がありませんが、これらの攻撃は安定した拡散などの条件付きモデルの基礎として機能するため、これらの攻撃のさらなる調査が不可欠なままであり、これらの攻撃を探索すると、DPMSの記憶の理解が向上します。
この作業では、\ textbf {surrogate条件付きデータ抽出（side）}という名前の新しいデータ抽出方法を提案します。これは、生成されたデータでトレーニングされた時間依存分類器を、無条件のDPMからトレーニングデータを抽出するために活用します。
経験的な結果は、以前の方法が失敗する挑戦的なシナリオでトレーニングデータを抽出できることを示しており、それは平均して、セレバデータセットの異なるスケールで50を超える\％を超えるものです。
さらに、条件付きDPMと無条件のDPMの両方で、暗記の理論的理解を提供します。

要約(オリジナル)

As diffusion probabilistic models (DPMs) are being employed as mainstream models for Generative Artificial Intelligence (GenAI), the study of their memorization has attracted growing attention. Existing works in this field aim to establish an understanding of whether or to what extent DPMs learn via memorization. Such an understanding is crucial for identifying potential risks of data leakage and copyright infringement in diffusion models and, more importantly, for trustworthy application of GenAI. Existing works revealed that conditional DPMs are more prone to memorize training data than unconditional DPMs. And most data extraction methods developed so far target conditional DPMs. Although unconditional DPMs are less prone to data extraction, further investigation into these attacks remains essential since they serve as the foundation for conditional models like Stable Diffusion, and exploring these attacks will enhance our understanding of memorization in DPMs. In this work, we propose a novel data extraction method named \textbf{Surrogate condItional Data Extraction (SIDE)} that leverages a time-dependent classifier trained on generated data as surrogate conditions to extract training data from unconditional DPMs. Empirical results demonstrate that it can extract training data in challenging scenarios where previous methods fail, and it is, on average, over 50\% more effective across different scales of the CelebA dataset. Furthermore, we provide a theoretical understanding of memorization in both conditional and unconditional DPMs and why SIDE is effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google