Real-World Benchmarks Make Membership Inference Attacks Fail on Diffusion Models

要約

拡散モデルに対するメンバーシップ推論攻撃（MIAs）は、事前に訓練された拡散モデルを訓練する際の不正なデータ使用の潜在的な証拠として浮上している。これらの攻撃は、拡散モデルのトレーニングデータセットにおける特定の画像の存在を検出することを目的としている。本研究では、拡散モデルに対する最新のMIAの評価を掘り下げ、既存のMIA評価における重大な欠陥と楽観的すぎる性能推定を明らかにする。我々は、より現実的なMIAベンチマークであるCopyMarkを導入し、事前に訓練された拡散モデル、偏りのないデータセット、公平な評価パイプラインをサポートすることで差別化を図る。広範な実験を通じて、現在のMIA手法の有効性が、より実用的な条件下で著しく低下することを実証する。我々の結果に基づき、現状のMIAは、事前に訓練された拡散モデルにおける不正なデータ利用を識別するための信頼できるアプローチではないことを警告する。我々の知る限り、拡散モデルにおけるMIAの性能過大評価を発見し、より現実的な評価のための統一ベンチマークを提示したのは我々が初めてである。我々のコードはGitHubで利用可能です：\https://github.com/caradryanl/CopyMark}。

要約(オリジナル)

Membership inference attacks (MIAs) on diffusion models have emerged as potential evidence of unauthorized data usage in training pre-trained diffusion models. These attacks aim to detect the presence of specific images in training datasets of diffusion models. Our study delves into the evaluation of state-of-the-art MIAs on diffusion models and reveals critical flaws and overly optimistic performance estimates in existing MIA evaluation. We introduce CopyMark, a more realistic MIA benchmark that distinguishes itself through the support for pre-trained diffusion models, unbiased datasets, and fair evaluation pipelines. Through extensive experiments, we demonstrate that the effectiveness of current MIA methods significantly degrades under these more practical conditions. Based on our results, we alert that MIA, in its current state, is not a reliable approach for identifying unauthorized data usage in pre-trained diffusion models. To the best of our knowledge, we are the first to discover the performance overestimation of MIAs on diffusion models and present a unified benchmark for more realistic evaluation. Our code is available on GitHub: \url{https://github.com/caradryanl/CopyMark}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL