Deep Image Fingerprint: Towards Low Budget Synthetic Image Detection and Model Lineage Analysis

要約

高品質の画像の生成は広く利用できるようになり、プロセスは急速に進化しています。
その結果、誰でも本物と見分けがつかない画像を生成できるようになります。
これは、欺瞞を目的とした悪意のある使用を含む、幅広い用途につながります。
生成された画像の検出技術は進歩していますが、堅牢な検出方法は依然として実現できていません。
さらに、モデルのパーソナライゼーション技術は、既存の手法の検出能力に影響を与える可能性があります。
この研究では、畳み込みニューラル ネットワーク (CNN) のアーキテクチャ上の特性を利用して、新しい検出方法を開発します。
私たちの方法では、既知の生成モデルから画像を検出し、微調整された生成モデル間の関係を確立できます。
私たちは、敵対的生成ネットワーク (GAN) と、拡散モデルに依存する最近の大規模なテキストから画像へのモデル (LTIM) の両方によって生成された画像でこの方法をテストしました。
私たちのアプローチは、同一の条件下でトレーニングされた他のアプローチよりも優れたパフォーマンスを発揮し、必要な列車サンプルが大幅に少なくなり、Stable Diffusion および MidJourney によって生成された画像に対して最先端の事前トレーニングされた検出方法と同等のパフォーマンスを達成します。

要約(オリジナル)

The generation of high-quality images has become widely accessible and is a rapidly evolving process. As a result, anyone can generate images that are indistinguishable from real ones. This leads to a wide range of applications, including malicious usage with deceptive intentions. Despite advances in detection techniques for generated images, a robust detection method still eludes us. Furthermore, model personalization techniques might affect the detection capabilities of existing methods. In this work, we utilize the architectural properties of convolutional neural networks (CNNs) to develop a new detection method. Our method can detect images from a known generative model and enable us to establish relationships between fine-tuned generative models. We tested the method on images produced by both Generative Adversarial Networks (GANs) and recent large text-to-image models (LTIMs) that rely on Diffusion Models. Our approach outperforms others trained under identical conditions and achieves comparable performance to state-of-the-art pre-trained detection methods on images generated by Stable Diffusion and MidJourney, with significantly fewer required train samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google