Detecting Images Generated by Diffusers

要約

タイトル：Diffusersによって生成された画像の検出

要約：
– 本論文は、テキストから画像を拡散するモデルによって生成された画像を検出するタスクに焦点を当てている。
– MSCOCOとWikimediaデータセットから生成された画像を、Stable DiffusionとGLIDEという2つの最先端モデルを使用して評価し、各モデルによって生成された画像を検出することが可能であることを示している。
– CLIPによって抽出された特徴量や、従来の畳み込みニューラルネットワーク（CNN）を使用して簡単なマルチレイヤーパーセプトロン（MLP）をトレーニングすることで、生成された画像を検出することができることが示された。
– Stable Diffusionによって生成された画像を使用してトレーニングされたモデルは、GLIDEで生成された画像を比較的よく検出することができるが、その逆は成り立たないことが観察された。
– 最後に、画像に関連するテキスト情報を組み込んでも検出結果の改善は滅多になく、画像に描かれた被写体の種類が性能に重要な影響を与えることがわかった。
– この研究は、生成された画像を検出することが可能であるかどうかの洞察を提供し、リアルワールドのアプリケーションにおけるセキュリティとプライバシーに関する問題に影響を与える可能性がある。

要約(オリジナル)

This paper explores the task of detecting images generated by text-to-image diffusion models. To evaluate this, we consider images generated from captions in the MSCOCO and Wikimedia datasets using two state-of-the-art models: Stable Diffusion and GLIDE. Our experiments show that it is possible to detect the generated images using simple Multi-Layer Perceptrons (MLPs), starting from features extracted by CLIP, or traditional Convolutional Neural Networks (CNNs). We also observe that models trained on images generated by Stable Diffusion can detect images generated by GLIDE relatively well, however, the reverse is not true. Lastly, we find that incorporating the associated textual information with the images rarely leads to significant improvement in detection results but that the type of subject depicted in the image can have a significant impact on performance. This work provides insights into the feasibility of detecting generated images, and has implications for security and privacy concerns in real-world applications. The code to reproduce our results is available at: https://github.com/davide-coccomini/Detecting-Images-Generated-by-Diffusers

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI