PatchCraft: Exploring Texture Patch for Efficient AI-generated Image Detection

要約

最近の生成モデルは、写真画像の生成において優れたパフォーマンスを示します。
AI が生成したこのような信じられないほどリアルな画像を、人間は本物の画像と区別することはほとんどできません。
AI が生成した画像は、偽情報の蔓延につながる可能性があります。
したがって、AI が生成した画像を識別する検出器の開発が最も急務となっています。
既存の検出器のほとんどは、目に見えない生成モデルに比べてパフォーマンスが大幅に低下します。
この論文では、幅広い生成モデルによって作成された偽画像を識別できる新しい AI 生成画像検出器を提案します。
画像のテクスチャ パッチは、画像のグローバルな意味情報と比較して、生成モデルによって残された痕跡をより多く明らかにする傾向があることが観察されています。
新しい Smash&Reconstruction 前処理は、グローバル セマンティック情報を消去し、テクスチャ パッチを強化するために提案されています。
さらに、リッチなテクスチャ領域のピクセルは、貧弱なテクスチャ領域のピクセルよりも大きな変動を示します。
現実的なリッチテクスチャ領域を合成することは、既存の生成モデルにとってより困難であることが判明しています。
この原理に基づいて、画像内のリッチなテクスチャ領域と貧弱なテクスチャ領域間のピクセル間相関コントラストを利用して、検出パフォーマンスをさらに向上させます。
さらに、既存のベースラインとアプローチの有効性を評価するために、17 種類の一般的な生成モデルを含む包括的な AI 生成画像検出ベンチマークを構築します。
私たちのベンチマークは、追跡調査のためのリーダーボードを提供します。
広範な実験結果は、私たちのアプローチが最先端のベースラインを大幅に上回るパフォーマンスを示していることを示しています。
私たちのプロジェクト: https://fdmas.github.io/AIGCDetect

要約(オリジナル)

Recent generative models show impressive performance in generating photographic images. Humans can hardly distinguish such incredibly realistic-looking AI-generated images from real ones. AI-generated images may lead to ubiquitous disinformation dissemination. Therefore, it is of utmost urgency to develop a detector to identify AI generated images. Most existing detectors suffer from sharp performance drops over unseen generative models. In this paper, we propose a novel AI-generated image detector capable of identifying fake images created by a wide range of generative models. We observe that the texture patches of images tend to reveal more traces left by generative models compared to the global semantic information of the images. A novel Smash&Reconstruction preprocessing is proposed to erase the global semantic information and enhance texture patches. Furthermore, pixels in rich texture regions exhibit more significant fluctuations than those in poor texture regions. Synthesizing realistic rich texture regions proves to be more challenging for existing generative models. Based on this principle, we leverage the inter-pixel correlation contrast between rich and poor texture regions within an image to further boost the detection performance. In addition, we build a comprehensive AI-generated image detection benchmark, which includes 17 kinds of prevalent generative models, to evaluate the effectiveness of existing baselines and our approach. Our benchmark provides a leaderboard for follow-up studies. Extensive experimental results show that our approach outperforms state-of-the-art baselines by a significant margin. Our project: https://fdmas.github.io/AIGCDetect

arxiv情報

提供元, 利用サービス

arxiv.jp, Google