Towards the Detection of Diffusion Model Deepfakes

要約

拡散モデル (DM) は、画像合成の有望な方法として最近登場しました。
しかし、今日まで、DM によって生成された画像の検出にはほとんど注意が払われていませんでした。これは、社会への悪影響を防ぐために重要です。
この作業では、この差し迫った課題に 2 つの異なる角度から対処します。まず、さまざまな DM で、敵対的生成ネットワーク (GAN) によって生成された画像に対して非常に効果的な最先端の検出器のパフォーマンスを評価します。
.
次に、DM で生成された画像を周波数領域で分析し、これらの画像のスペクトル特性に影響を与えるさまざまな要因を調べます。
最も重要なことは、GAN と DM が異なる特性を持つ画像を生成することを実証することです。これには、信頼性の高い検出を確保するために既存の分類器を適応させる必要があります。
この研究は、DM ディープフェイクを効果的に検出するためのさらなる研究の基礎と出発点を提供すると考えています。

要約(オリジナル)

Diffusion models (DMs) have recently emerged as a promising method in image synthesis. However, to date, only little attention has been paid to the detection of DM-generated images, which is critical to prevent adverse impacts on our society. In this work, we address this pressing challenge from two different angles: First, we evaluate the performance of state-of-the-art detectors, which are very effective against images generated by generative adversarial networks (GANs), on a variety of DMs. Second, we analyze DM-generated images in the frequency domain and study different factors that influence the spectral properties of these images. Most importantly, we demonstrate that GANs and DMs produce images with different characteristics, which requires adaptation of existing classifiers to ensure reliable detection. We believe this work provides the foundation and starting point for further research to detect DM deepfakes effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google