LaRE$^2$: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection

要約

拡散モデルの進化により、画像生成の品質が劇的に向上し、実際の画像と生成された画像を区別することがますます困難になりました。
この開発は、印象的ですが、大きなプライバシーとセキュリティの懸念を引き起こします。
これに応じて、拡散生成画像を検出するための新しい潜在的な再構成エラーガイド付き特徴の改良方法（LARE^2）を提案します。
生成された画像検出のための潜在空間での最初の再構成エラーベースの特徴である潜在的な再構成エラー（LARE）を思いつきます。
Lareは、現実と偽物を区別するために必要な重要な手がかりを維持しながら、機能抽出効率の観点から既存の方法を上回ります。
LAREを活用するために、エラーガイド付き機能洗練モジュール（EGRE）を提案します。これにより、レアが誘導された画像機能を改良して、機能の差別性を高めることができます。
私たちのeGREは、アラインから繰り返されるメカニズムを利用しており、空間的観点とチャネル視点から生成されたイメージ検出の画像機能を効果的に改良します。
大規模なゲニマージュベンチマークに関する広範な実験は、8つの異なる画像ジェネレーターで最大11.9％/12.1％の平均ACC/APで最高のSOTAメソッドを上回るLare^2の優位性を示しています。
また、Lareは機能抽出コストの観点から既存の方法を上回り、8倍の印象的な速度向上を実現します。
コードが利用可能です。

要約(オリジナル)

The evolution of Diffusion Models has dramatically improved image generation quality, making it increasingly difficult to differentiate between real and generated images. This development, while impressive, also raises significant privacy and security concerns. In response to this, we propose a novel Latent REconstruction error guided feature REfinement method (LaRE^2) for detecting the diffusion-generated images. We come up with the Latent Reconstruction Error (LaRE), the first reconstruction-error based feature in the latent space for generated image detection. LaRE surpasses existing methods in terms of feature extraction efficiency while preserving crucial cues required to differentiate between the real and the fake. To exploit LaRE, we propose an Error-Guided feature REfinement module (EGRE), which can refine the image feature guided by LaRE to enhance the discriminativeness of the feature. Our EGRE utilizes an align-then-refine mechanism, which effectively refines the image feature for generated-image detection from both spatial and channel perspectives. Extensive experiments on the large-scale GenImage benchmark demonstrate the superiority of our LaRE^2, which surpasses the best SoTA method by up to 11.9%/12.1% average ACC/AP across 8 different image generators. LaRE also surpasses existing methods in terms of feature extraction cost, delivering an impressive speed enhancement of 8 times. Code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google