Intriguing properties of synthetic images: from generative adversarial networks to diffusion models

要約

偽の画像を検出することは、コンピューター ビジョンの主要な目標になりつつあります。
このニーズは、敵対的生成ネットワーク (GAN) に基づいた合成手法の継続的な改善によりますます緊急になっており、拡散モデル (DM) に基づく強力な手法の出現によりさらに高まっています。
この目的を達成するには、どの画像の特徴が偽の画像と本物の画像をよりよく区別できるかについて洞察を得ることが重要です。
この論文では、実際の画像と生成された画像の最も法医学的に関連性のある特徴を発見することを目的とした、さまざまなファミリーの多数の画像ジェネレーターに関する系統的な研究について報告します。
私たちの実験は、多くの興味深い観察結果を提供し、合成画像のいくつかの興味深い特性に光を当てます。 (1) GAN モデルだけでなく、DM および VQ-GAN (ベクトル量子化敵対的生成ネットワーク) モデルも、目に見えるアーティファクトを生成します。
フーリエ領域であり、自己相関で異常な規則的なパターンを示します。
(2) モデルのトレーニングに使用されるデータセットに十分な多様性がない場合、そのバイアスが生成された画像に転写される可能性があります。
(3) 合成画像と実際の画像は、中高周波信号内容に大きな違いを示し、動径および角度のスペクトル パワー分布で観察できます。

要約(オリジナル)

Detecting fake images is becoming a major goal of computer vision. This need is becoming more and more pressing with the continuous improvement of synthesis methods based on Generative Adversarial Networks (GAN), and even more with the appearance of powerful methods based on Diffusion Models (DM). Towards this end, it is important to gain insight into which image features better discriminate fake images from real ones. In this paper we report on our systematic study of a large number of image generators of different families, aimed at discovering the most forensically relevant characteristics of real and generated images. Our experiments provide a number of interesting observations and shed light on some intriguing properties of synthetic images: (1) not only the GAN models but also the DM and VQ-GAN (Vector Quantized Generative Adversarial Networks) models give rise to visible artifacts in the Fourier domain and exhibit anomalous regular patterns in the autocorrelation; (2) when the dataset used to train the model lacks sufficient variety, its biases can be transferred to the generated images; (3) synthetic and real images exhibit significant differences in the mid-high frequency signal content, observable in their radial and angular spectral power distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google