MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models

要約

拡散モデルは、テキストから画像への生成タスクで目覚ましい成功を収め、多くの商用モデルの開発につながりました。
しかし、最近の研究では、拡散モデルは特定のプロンプトによってトリガーされた場合に列車データ内に複製画像を生成することが多く、著作権からプライバシー上の懸念に至るまでの社会問題を引き起こす可能性があると報告されています。
暗記を回避するために、拡散モデルの暗記軽減方法を開発するための研究が最近行われています。
それにもかかわらず、ベンチマークがないため、これらの方法の真の有効性を評価することが妨げられています。
この研究では、画像記憶軽減方法を評価するための最初のベンチマークである MemBench を紹介します。
私たちのベンチマークには、さまざまなテキストから画像への拡散モデルに記憶された多数の画像トリガー プロンプトが含​​まれています。
さらに、トリガー プロンプトのみで緩和パフォーマンスを評価した以前の研究とは対照的に、トリガー プロンプトと一般プロンプトの両方で評価するメトリクスを提示することで、緩和方法が一般プロンプトのパフォーマンスを維持しながら記憶の問題に対処しているかどうかを確認できます。
これは、以前の研究で見落とされていた実用的なアプリケーションを考慮した重要な開発です。
MemBench での評価を通じて、既存の画像記憶軽減手法の性能が拡散モデルに適用するにはまだ不十分であることを検証します。
コードとデータセットは https://github.com/chunsanHong/MemBench\_code で入手できます。

要約(オリジナル)

Diffusion models have achieved remarkable success in Text-to-Image generation tasks, leading to the development of many commercial models. However, recent studies have reported that diffusion models often generate replicated images in train data when triggered by specific prompts, potentially raising social issues ranging from copyright to privacy concerns. To sidestep the memorization, there have been recent studies for developing memorization mitigation methods for diffusion models. Nevertheless, the lack of benchmarks impedes the assessment of the true effectiveness of these methods. In this work, we present MemBench, the first benchmark for evaluating image memorization mitigation methods. Our benchmark includes a large number of memorized image trigger prompts in various Text-to-Image diffusion models. Furthermore, in contrast to the prior work evaluating mitigation performance only on trigger prompts, we present metrics evaluating on both trigger prompts and general prompts, so that we can see whether mitigation methods address the memorization issue while maintaining performance for general prompts. This is an important development considering the practical applications which previous works have overlooked. Through evaluation on MemBench, we verify that the performance of existing image memorization mitigation methods is still insufficient for application to diffusion models. The code and datasets are available at https://github.com/chunsanHong/MemBench\_code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google