Intriguing properties of synthetic images: from generative adversarial networks to diffusion models

要約

タイトル：Generative Adversarial NetworksからDiffusion Modelsへ：合成画像の興味深い特性について

要約：
– フェイク画像の検出は、コンピュータビジョンにおける主要な目標の1つになっている。
– Generative Adversarial Networks（GAN）に基づいた合成手法の改善が継続的に進展していることにより、このニーズはますます迫切性を帯びている。
– Diffusion Models（DM）に基づいた強力な方法が現れたため、より一層迫切性を帯びるようになった。
– したがって、どの画像の特徴がフェイク画像と実際の画像を一番よく識別できるかを洞察することが重要になる。
– 本研究では、異なるファミリーの多数のイメージジェネレータをシステム的に研究し、実際の画像と生成された画像の最も法的に関連性のある特性を発見することを目的としている。
– 実験結果から、合成画像のいくつかの興味深い特性が明らかになった。
– 合成画像のフーリエ領域において、GANモデルだけでなくDMモデルとVQ-GAN（Vector Quantized Generative Adversarial Network）モデルでも見えるアーティファクトが生じ、自己相関において異常に整然としたパターンが現れることが明らかになった。
– モデルのトレーニングに使用されるデータセットが十分なバラエティに欠けている場合、その偏りは生成された画像にも引き継がれることがある。
– 合成画像と実際の画像の中高周波数信号のコンテンツには、半径と角度のスペクトルパワー分布で観察できるような重要な違いがある。

要約(オリジナル)

Detecting fake images is becoming a major goal of computer vision. This need is becoming more and more pressing with the continuous improvement of synthesis methods based on Generative Adversarial Networks (GAN), and even more with the appearance of powerful methods based on Diffusion Models (DM). Towards this end, it is important to gain insight into which image features better discriminate fake images from real ones. In this paper we report on our systematic study of a large number of image generators of different families, aimed at discovering the most forensically relevant characteristics of real and generated images. Our experiments provide a number of interesting observations and shed light on some intriguing properties of synthetic images: (1) not only the GAN models but also the DM and VQ-GAN (Vector Quantized Generative Adversarial Networks) models give rise to visible artifacts in the Fourier domain and exhibit anomalous regular patterns in the autocorrelation; (2) when the dataset used to train the model lacks sufficient variety, its biases can be transferred to the generated images; (3) synthetic and real images exhibit significant differences in the mid-high frequency signal content, observable in their radial and angular spectral power distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI