Detecting Dataset Abuse in Fine-Tuning Stable Diffusion Models for Text-to-Image Synthesis

要約

テキストから画像への合成は、現実的で様式化された画像を生成するために非常に一般的になり、多くの場合、特殊なタスクのためにドメイン固有のデータセットを使用して生成モデルを微調整する必要があります。
ただし、これらの貴重なデータセットは、不正使用や未承認の共有のリスクに直面しており、所有者の権利が侵害されます。
この論文では、テキストから画像への合成のための安定拡散モデルの微調整中のデータセットの悪用の問題に対処します。
不正使用を検出し、データ漏洩を追跡するために設計されたデータセット透かしフレームワークを紹介します。
このフレームワークは、複数の透かしスキームにわたって 2 つの主要な戦略を採用しており、大規模なデータセットの認証に効果的です。
広範な実験により、フレームワークの有効性、データセットへの最小限の影響 (高い検出精度を得るにはデータの 2% のみを変更する必要がある)、およびデータ漏洩を追跡する能力が実証されています。
私たちの結果は、フレームワークの堅牢性と移行可能性も強調しており、データセットの悪用を検出する際の実際的な適用可能性を証明しています。

要約(オリジナル)

Text-to-image synthesis has become highly popular for generating realistic and stylized images, often requiring fine-tuning generative models with domain-specific datasets for specialized tasks. However, these valuable datasets face risks of unauthorized usage and unapproved sharing, compromising the rights of the owners. In this paper, we address the issue of dataset abuse during the fine-tuning of Stable Diffusion models for text-to-image synthesis. We present a dataset watermarking framework designed to detect unauthorized usage and trace data leaks. The framework employs two key strategies across multiple watermarking schemes and is effective for large-scale dataset authorization. Extensive experiments demonstrate the framework’s effectiveness, minimal impact on the dataset (only 2% of the data required to be modified for high detection accuracy), and ability to trace data leaks. Our results also highlight the robustness and transferability of the framework, proving its practical applicability in detecting dataset abuse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google