When Synthetic Traces Hide Real Content: Analysis of Stable Diffusion Image Laundering

要約

近年、リアリティの高い合成画像を作成する方法が大幅に進歩し、目的のコンテンツを説明するテキスト プロンプトから高品質の画像を作成できるようになりました。
さらに印象的なのは、安定拡散 (SD) モデルにより、画像から画像への変換方式で合成画像を作成し、高度なオートエンコーダーの潜在空間内の画像を変更するオプションがユーザーに提供されるようになりました。
しかし、この驚くべき進化は憂慮すべき結果をもたらします。画像を SD オートエンコーダに通して、高いリアリズムと視覚的なアーティファクトがほとんどない画像の合成コピーを再生することが可能になります。
SD イメージ ロンダリングとして知られるこのプロセスは、実際の画像を類似の合成画像に変換する可能性があり、コンテンツの信頼性を検証するためのフォレンジック分析が複雑になる危険性があります。
私たちの論文は、画像ロンダリングの法医学的影響を調査し、合成として誤って分類される可能性のある機密性の高い有害な素材を含む実際のコンテンツの痕跡を覆い隠し、それによって描かれた個人の保護を損なう重大な可能性を明らかにしています。
この問題に対処するために、私たちは、元の画像、ロンダリングされた画像、および完全に合成された画像 (テキスト プロンプトから生成された画像) を効果的に区別し、さまざまな条件下で堅牢性を示す 2 段階の検出パイプラインを提案します。
最後に、画像ロンダリングのもう 1 つの憂慮すべき特性を強調します。これは、フォレンジック検出器がカメラ モデル識別タスクを解決するために悪用する固有のアーティファクトを覆い隠し、そのパフォーマンスを大きく損なうと思われます。
私たちの実験コードは https://github.com/polimi-ispl/synthetic-image-detection で入手できます。

要約(オリジナル)

In recent years, methods for producing highly realistic synthetic images have significantly advanced, allowing the creation of high-quality images from text prompts that describe the desired content. Even more impressively, Stable Diffusion (SD) models now provide users with the option of creating synthetic images in an image-to-image translation fashion, modifying images in the latent space of advanced autoencoders. This striking evolution, however, brings an alarming consequence: it is possible to pass an image through SD autoencoders to reproduce a synthetic copy of the image with high realism and almost no visual artifacts. This process, known as SD image laundering, can transform real images into lookalike synthetic ones and risks complicating forensic analysis for content authenticity verification. Our paper investigates the forensic implications of image laundering, revealing a serious potential to obscure traces of real content, including sensitive and harmful materials that could be mistakenly classified as synthetic, thereby undermining the protection of individuals depicted. To address this issue, we propose a two-stage detection pipeline that effectively differentiates between pristine, laundered, and fully synthetic images (those generated from text prompts), showing robustness across various conditions. Finally, we highlight another alarming property of image laundering, which appears to mask the unique artifacts exploited by forensic detectors to solve the camera model identification task, strongly undermining their performance. Our experimental code is available at https://github.com/polimi-ispl/synthetic-image-detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google