Let Real Images be as a Judger, Spotting Fake Images Synthesized with Generative Models

要約

ここ数年、生成モデルは、品質と多様性の両方でリアルな画像 (つまり、顔の画像や自然の被写体) を合成する強力な機能を示しています。
残念ながら、異なる生成モデルによって合成された偽画像のアーティファクト パターンには一貫性がなく、本物と偽物の微妙な違いを見つけることに依存していた以前の研究は失敗に終わりました。
私たちの予備実験では、自然画像は安定した統計的特性を示すのに対し、偽画像のアーティファクトは生成モデルの発展とともに常に変化することがわかりました。
この論文では、検出器の追加の予測ターゲットとして、実際の画像のみで共有される自然な痕跡を使用します。
具体的には、自然の痕跡は実際の野生の画像から学習され、拡張された教師あり対比学習を導入して、それらを本物の画像に近づけ、偽物の画像から遠ざけます。
これにより、検出器は自然の痕跡への画像の近接性に基づいて決定を下すようになります。
包括的な実験を実施するために、6 つの GAN モデルと 6 つの拡散モデルで構成される生成モデルを含む高品質で多様なデータセットを構築し、未知の偽造技術を一般化する有効性と、さまざまな変換を生き残る堅牢性を評価しました。
実験結果は、我々の提案した方法がベースラインを大幅に上回る 96.1% の mAP を与えることを示しています。
広く認知されているプラ​​ットフォーム Midjourney で行われた広範な実験により、提案された手法が 78.4% を超える精度を達成することが明らかになり、現実世界のアプリケーション展開における実用性が強調されています。
ソース コードと部分的な自己構築データセットは補足資料で入手できます。

要約(オリジナル)

In the last few years, generative models have shown their powerful capabilities in synthesizing realistic images in both quality and diversity (i.e., facial images, and natural subjects). Unfortunately, the artifact patterns in fake images synthesized by different generative models are inconsistent, leading to the failure of previous research that relied on spotting subtle differences between real and fake. In our preliminary experiments, we find that the artifacts in fake images always change with the development of the generative model, while natural images exhibit stable statistical properties. In this paper, we employ natural traces shared only by real images as an additional predictive target in the detector. Specifically, the natural traces are learned from the wild real images and we introduce extended supervised contrastive learning to bring them closer to real images and further away from fake ones. This motivates the detector to make decisions based on the proximity of images to the natural traces. To conduct a comprehensive experiment, we built a high-quality and diverse dataset that includes generative models comprising 6 GAN and 6 diffusion models, to evaluate the effectiveness in generalizing unknown forgery techniques and robustness in surviving different transformations. Experimental results show that our proposed method gives 96.1% mAP significantly outperforms the baselines. Extensive experiments conducted on the widely recognized platform Midjourney reveal that our proposed method achieves an accuracy exceeding 78.4%, underscoring its practicality for real-world application deployment. The source code and partial self-built dataset are available in supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google