Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy

要約

テキストから画像への拡散モデルは、制御可能な画像生成の分野で多大な成功を収めていますが、同時にプライバシー漏洩やデータ著作権の問題も伴います。
メンバーシップ推論は、不正なデータ使用を検出するための潜在的な監査方法として、このような状況で発生します。
拡散モデルに関してはいくつかの取り組みが行われてきましたが、計算オーバーヘッドが高く、一般化機能が強化されているため、テキストから画像への拡散モデルには適用できません。
この論文では、まず、テキストから画像への拡散モデルにおける条件付き過学習現象を特定します。これは、これらのモデルが、画像の周辺分布ではなく、テキストを考慮した画像の条件付き分布に過学習する傾向があることを示しています。
この観察に基づいて、メンバーシップ推論を実行するための分析指標、つまり条件付き尤度不一致 (CLiD) を導き出します。
この指標は、個々のサンプルの記憶を推定する際の確率性を軽減します。
実験結果は、さまざまなデータ分布とスケールにわたって、私たちの方法が以前の方法よりも大幅に優れていることを示しています。
さらに、私たちの方法は、早期停止やデータ拡張などの過学習緩和戦略に対して優れた耐性を示します。

要約(オリジナル)

Text-to-image diffusion models have achieved tremendous success in the field of controllable image generation, while also coming along with issues of privacy leakage and data copyrights. Membership inference arises in these contexts as a potential auditing method for detecting unauthorized data usage. While some efforts have been made on diffusion models, they are not applicable to text-to-image diffusion models due to the high computation overhead and enhanced generalization capabilities. In this paper, we first identify a conditional overfitting phenomenon in text-to-image diffusion models, indicating that these models tend to overfit the conditional distribution of images given the text rather than the marginal distribution of images. Based on this observation, we derive an analytical indicator, namely Conditional Likelihood Discrepancy (CLiD), to perform membership inference. This indicator reduces the stochasticity in estimating the memorization of individual samples. Experimental results demonstrate that our method significantly outperforms previous methods across various data distributions and scales. Additionally, our method shows superior resistance to overfitting mitigation strategies such as early stopping and data augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google