Towards More Realistic Membership Inference Attacks on Large Diffusion Models

要約

Stable Diffusion や Midjourney などの生成拡散モデルは、さまざまなアプリケーション向けに、視覚的に魅力的で多様な高解像度の画像を生成できます。
これらのモデルはインターネットから入手した何十億もの画像でトレーニングされており、著作権で保護された画像が不正に使用される可能性について大きな懸念が生じています。
この論文では、特定の画像がトレーニング セットで使用されたかどうかを判断できるかどうかを検討します。これはサイバーセキュリティ コミュニティで知られており、メンバーシップ推論攻撃と呼ばれる問題です。
私たちは安定した普及に焦点を当てており、このメンバーシップの質問に答えるための公正な評価フレームワークを設計するという課題に取り組んでいます。
私たちは、公正な評価設定を確立し、それを安定拡散に適用する方法論を提案し、他の生成モデルへの潜在的な拡張を可能にします。
この評価設定を利用して、メンバーシップ攻撃 (既知の攻撃と新たに導入された攻撃の両方) を実行します。
私たちの調査では、以前に提案された評価設定ではメンバーシップ推論攻撃の有効性を完全には理解できていないことが明らかになりました。
私たちは、メンバーシップ推論攻撃が大規模な拡散モデル (ブラックボックス システムとして展開されることが多い) にとって依然として重大な課題であると結論付けており、これは、関連するプライバシーと著作権の問題が予見可能な将来まで存続することを示しています。

要約(オリジナル)

Generative diffusion models, including Stable Diffusion and Midjourney, can generate visually appealing, diverse, and high-resolution images for various applications. These models are trained on billions of internet-sourced images, raising significant concerns about the potential unauthorized use of copyright-protected images. In this paper, we examine whether it is possible to determine if a specific image was used in the training set, a problem known in the cybersecurity community and referred to as a membership inference attack. Our focus is on Stable Diffusion, and we address the challenge of designing a fair evaluation framework to answer this membership question. We propose a methodology to establish a fair evaluation setup and apply it to Stable Diffusion, enabling potential extensions to other generative models. Utilizing this evaluation setup, we execute membership attacks (both known and newly introduced). Our research reveals that previously proposed evaluation setups do not provide a full understanding of the effectiveness of membership inference attacks. We conclude that the membership inference attack remains a significant challenge for large diffusion models (often deployed as black-box systems), indicating that related privacy and copyright issues will persist in the foreseeable future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google