MLEP: Multi-granularity Local Entropy Patterns for Universal AI-generated Image Detection

要約

画像生成技術の進歩は、誤った情報やディープフェイクの生成など、潜在的な誤用について大きな懸念を提起しています。
したがって、AIに生成された画像（AIGI）を検出するための効果的な方法が緊急に必要です。
AIGIの検出の進歩にもかかわらず、ソース不変の機能がないため、既存の方法に限られた一般化機能が不足しているため、多様な生成モデルとシーンで信頼できるパフォーマンスを達成することは依然として困難です。
この作業では、画像エントロピーをAIGI検出のキューとして使用する可能性を調査し、複数の画像スケーリングされたシャッフルされた小さなパッチで計算されたエントロピー機能マップのセットであるマルチ粒度の局所エントロピーパターン（MLEP）を提案します。
MLEPは、画像セマンティクスを大幅に混乱させ、潜在的な内容バイアスを減らしながら、次元とスケール全体のピクセル関係を包括的にキャプチャします。
AIGI検出用の堅牢なCNNベースの分類器であるMLEPをレバレッジすることをトレーニングできます。
32の異なる生成モデルによって合成された画像を評価するオープンワールドシナリオで実施された広範な実験は、精度と一般化の両方で最先端の方法よりも大幅な改善を示しています。

要約(オリジナル)

Advancements in image generation technologies have raised significant concerns about their potential misuse, such as producing misinformation and deepfakes. Therefore, there is an urgent need for effective methods to detect AI-generated images (AIGI). Despite progress in AIGI detection, achieving reliable performance across diverse generation models and scenes remains challenging due to the lack of source-invariant features and limited generalization capabilities in existing methods. In this work, we explore the potential of using image entropy as a cue for AIGI detection and propose Multi-granularity Local Entropy Patterns (MLEP), a set of entropy feature maps computed across shuffled small patches over multiple image scaled. MLEP comprehensively captures pixel relationships across dimensions and scales while significantly disrupting image semantics, reducing potential content bias. Leveraging MLEP, a robust CNN-based classifier for AIGI detection can be trained. Extensive experiments conducted in an open-world scenario, evaluating images synthesized by 32 distinct generative models, demonstrate significant improvements over state-of-the-art methods in both accuracy and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google