Extracting Training Data from Unconditional Diffusion Models

要約

拡散確率モデル (DPM) が生成人工知能 (AI) の主流モデルとして採用されるにつれ、生のトレーニング データの記憶に関する研究に注目が集まっています。
この方向の既存の研究は、DPM が暗記によって学習するかどうか、またはどの程度学習するかについての理解を確立することを目的としています。
このような理解は、拡散モデルにおけるデータ漏洩と著作権侵害の潜在的なリスクを特定するために、そしてより重要なことに、人工知能生成コンテンツ (AIGC) のより制御可能な生成と信頼できるアプリケーションのために重要です。
これまでの研究では、DPM が暗記しやすい状況について重要な観察が行われてきましたが、これらの発見はほとんどが経験的なものであり、開発されたデータ抽出方法は条件付き拡散モデルに対してのみ機能します。
この研究では、1) 理論分析のための暗記メトリック、2) 有益でランダムなラベルを使用した条件付き暗記の分析、3) 暗記を測定するための 2 つのより優れた評価メトリックを使用して、DPM における暗記の理論的理解を確立することを目的としています。
理論的分析に基づいて、\textbf{代理条件データ抽出 (SIDE)} と呼ばれる新しいデータ抽出方法をさらに提案します。これは、生成されたデータでトレーニングされた分類器を代理条件として活用し、無条件拡散モデルからトレーニング データを直接抽出します。
私たちの経験的結果は、SIDE が以前の方法では失敗した拡散モデルからトレーニング データを抽出できること、および CelebA データセットのさまざまなスケールにわたって平均して 50\% 以上効果的であることを示しています。

要約(オリジナル)

As diffusion probabilistic models (DPMs) are being employed as mainstream models for generative artificial intelligence (AI), the study of their memorization of the raw training data has attracted growing attention. Existing works in this direction aim to establish an understanding of whether or to what extent DPMs learn by memorization. Such an understanding is crucial for identifying potential risks of data leakage and copyright infringement in diffusion models and, more importantly, for more controllable generation and trustworthy application of Artificial Intelligence Generated Content (AIGC). While previous works have made important observations of when DPMs are prone to memorization, these findings are mostly empirical, and the developed data extraction methods only work for conditional diffusion models. In this work, we aim to establish a theoretical understanding of memorization in DPMs with 1) a memorization metric for theoretical analysis, 2) an analysis of conditional memorization with informative and random labels, and 3) two better evaluation metrics for measuring memorization. Based on the theoretical analysis, we further propose a novel data extraction method called \textbf{Surrogate condItional Data Extraction (SIDE)} that leverages a classifier trained on generated data as a surrogate condition to extract training data directly from unconditional diffusion models. Our empirical results demonstrate that SIDE can extract training data from diffusion models where previous methods fail, and it is on average over 50\% more effective across different scales of the CelebA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google