Detecting Images Generated by Deep Diffusion Models using their Local Intrinsic Dimensionality

要約

最近、拡散モデルは、驚くほどリアルに見える画像の視覚的合成に適用されることに成功しました。
このため、悪意のある目的に使用される可能性について強い懸念が生じます。
この論文では、合成画像の自動検出とそれに応じた生成ネットワークの識別のために、もともと敵対的な例の検出のコンテキストで開発された軽量のマルチ Local Intrinsic Dimensionality (multiLID) を使用することを提案します。
多くの場合、GAN で生成された画像に対してのみ機能する多くの既存の検出アプローチとは対照的に、提案された方法は、多くの現実的なユースケースで完璧に近い検出結果を提供します。
既知のデータセットと新しく作成されたデータセットに対する広範な実験により、multiLID が拡散検出とモデル識別において優れていることが実証されました。
生成された画像の検出に関する最近の出版物の経験的評価は、「LSUN-Bedroom」データセットに焦点を当てすぎていることが多いため、異なる画像を持ついくつかの拡散モデルからのサンプルを含む、拡散によって生成された画像の検出のための包括的なベンチマークをさらに確立します。
サイズを確認して、multiLID のパフォーマンスを評価します。
実験のコードは https://github.com/deepfake-study/deepfake_multiLID で提供されています。

要約(オリジナル)

Diffusion models recently have been successfully applied for the visual synthesis of strikingly realistic appearing images. This raises strong concerns about their potential for malicious purposes. In this paper, we propose using the lightweight multi Local Intrinsic Dimensionality (multiLID), which has been originally developed in context of the detection of adversarial examples, for the automatic detection of synthetic images and the identification of the according generator networks. In contrast to many existing detection approaches, which often only work for GAN-generated images, the proposed method provides close to perfect detection results in many realistic use cases. Extensive experiments on known and newly created datasets demonstrate that multiLID exhibits superiority in diffusion detection and model identification. Since the empirical evaluations of recent publications on the detection of generated images is often too focused on the ‘LSUN-Bedroom’ dataset, we further establish a comprehensive benchmark for the detection of diffusion-generated images, including samples from several diffusion models with different image sizes to evaluate the performance of their multiLID. Code for our experiments is provided at https://github.com/deepfake-study/deepfake_multiLID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google