DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models

要約

説明文をもとに画像を生成するテキスト画像生成モデルが、ここ数ヶ月で注目を集めています。しかし、その一方で、生成された偽画像が悪用される懸念がある。そこで、本研究では、テキスト画像生成モデルによって生成された偽画像の検出と帰属に関する体系的な研究を行う。具体的には、まず、機械学習による分類器を構築し、様々なテキスト画像生成モデルによって生成された偽画像を検出する。そして、これらの偽画像を生成元のモデルに帰属させ、モデルの誤用に対してモデルの所有者が責任を負うことができるようにする。さらに、偽画像を生成するプロンプトが検出と帰属にどのような影響を与えるかを調査する。本研究では、DALL$κcdot$E 2、Stable Diffusion、GLIDE、Latent Diffusionの4種類のテキスト画像生成モデルと、2つのベンチマークプロンプト画像データセットを用いて、広範な実験を行った。その結果、(1)異なるモデルの偽画像には共通のアーティファクトが存在し、偽画像を本物から区別できること、(2)異なるモデルの偽画像には固有の指紋が存在し、偽画像を効果的に生成元のモデルに帰属できること、(3)「人」というトピックや25から75までの長さを持つ入力によって、より信頼性の高い偽画像を生成できることが示された。これらの知見は、テキスト画像生成モデルが引き起こす脅威に対するコミュニティの洞察に貢献するものです。私たちは、急速に進化する偽画像生成に対して、私たちのような対応策を検討するようコミュニティに呼びかけます。

要約(オリジナル)

Text-to-image generation models that generate images based on prompt descriptions have attracted an increasing amount of attention during the past few months. Despite their encouraging performance, these models raise concerns about the misuse of their generated fake images. To tackle this problem, we pioneer a systematic study on the detection and attribution of fake images generated by text-to-image generation models. Concretely, we first build a machine learning classifier to detect the fake images generated by various text-to-image generation models. We then attribute these fake images to their source models, such that model owners can be held responsible for their models’ misuse. We further investigate how prompts that generate fake images affect detection and attribution. We conduct extensive experiments on four popular text-to-image generation models, including DALL$\cdot$E 2, Stable Diffusion, GLIDE, and Latent Diffusion, and two benchmark prompt-image datasets. Empirical results show that (1) fake images generated by various models can be distinguished from real ones, as there exists a common artifact shared by fake images from different models; (2) fake images can be effectively attributed to their source models, as different models leave unique fingerprints in their generated images; (3) prompts with the “person” topic or a length between 25 and 75 enable models to generate fake images with higher authenticity. All findings contribute to the community’s insight into the threats caused by text-to-image generation models. We appeal to the community’s consideration of the counterpart solutions, like ours, against the rapidly-evolving fake image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL