Towards the Detection of Diffusion Model Deepfakes

要約

拡散モデル (DM) は、画像合成における有望な方法として最近登場しました。
しかし、これまで、社会への悪影響を防ぐために重要な DM で生成された画像の検出については、ほとんど注目されていませんでした。
この研究では、2 つの異なる角度からこの差し迫った課題に取り組みます。まず、さまざまな DM 上の敵対的生成ネットワーク (GAN) によって生成された画像に対して非常に効果的な最先端の検出器のパフォーマンスを評価します。
。
次に、DM で生成された画像を周波数領域で分析し、これらの画像のスペクトル特性に影響を与えるさまざまな要因を研究します。
最も重要なことは、GAN と DM が異なる特性を持つ画像を生成するため、信頼性の高い検出を保証するには既存の分類器を適応させる必要があることを実証したことです。
私たちは、この研究が DM で生成された画像の効果的な検出に関するさらなる研究の基礎と出発点を提供すると確信しています。

要約(オリジナル)

Diffusion models (DMs) have recently emerged as a promising method in image synthesis. However, to date, only little attention has been paid to the detection of DM-generated images, which is critical to prevent adverse impacts on our society. In this work, we address this pressing challenge from two different angles: First, we evaluate the performance of state-of-the-art detectors, which are very effective against images generated by generative adversarial networks (GANs), on a variety of DMs. Second, we analyze DM-generated images in the frequency domain and study different factors that influence the spectral properties of these images. Most importantly, we demonstrate that GANs and DMs produce images with different characteristics, which requires adaptation of existing classifiers to ensure reliable detection. We are convinced that this work provides the foundation and starting point for further research on effective detection of DM-generated images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google