DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models

要約

生成モデルの急速な進歩に伴い、AIが生成する画像のリアリズムは著しく向上しており、デジタルコンテンツの真正性を検証する上で重要な課題となっている。現在のディープフェイク検出手法は、生成モデルやコンテンツの多様性が限定されたデータセットに依存することが多く、AIが生成するコンテンツの複雑性やリアルさの進化に対応できていない。様々な視覚タスクで広く採用されている大規模マルチモーダルモデル（LMM）は、強力なゼロショット能力を実証していますが、ディープフェイク検出におけるその可能性はまだほとんど未解明です。このギャップを埋めるために、我々は、(i) 実コンテンツ、AI編集コンテンツ、AI生成コンテンツの54万画像を含む幅広い多様性、(ii) 最新のモデル、12個の最新生成モデルによって生成された偽画像、(iii) ディープフェイク検出器の検出精度と生成モデルの回避能力の双方向のベンチマークと評価を特徴とする、大規模なDeepFake BenchmarkであるDFBenchを発表する。DFBenchに基づき、我々は、複数のLMMからの複合確率戦略を活用した、DeepFake検出のための混合エージェント（MoA-DF}）を提案する。MoA-DFは最先端の性能を達成し、ディープフェイク検出のためにLMMを活用することの有効性をさらに証明した。データベースとコードは https://github.com/IntMeGroup/DFBench で公開されている。

要約(オリジナル)

With the rapid advancement of generative models, the realism of AI-generated images has significantly improved, posing critical challenges for verifying digital content authenticity. Current deepfake detection methods often depend on datasets with limited generation models and content diversity that fail to keep pace with the evolving complexity and increasing realism of the AI-generated content. Large multimodal models (LMMs), widely adopted in various vision tasks, have demonstrated strong zero-shot capabilities, yet their potential in deepfake detection remains largely unexplored. To bridge this gap, we present \textbf{DFBench}, a large-scale DeepFake Benchmark featuring (i) broad diversity, including 540,000 images across real, AI-edited, and AI-generated content, (ii) latest model, the fake images are generated by 12 state-of-the-art generation models, and (iii) bidirectional benchmarking and evaluating for both the detection accuracy of deepfake detectors and the evasion capability of generative models. Based on DFBench, we propose \textbf{MoA-DF}, Mixture of Agents for DeepFake detection, leveraging a combined probability strategy from multiple LMMs. MoA-DF achieves state-of-the-art performance, further proving the effectiveness of leveraging LMMs for deepfake detection. Database and codes are publicly available at https://github.com/IntMeGroup/DFBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL