AI-GenBench: A New Ongoing Benchmark for AI-Generated Image Detection

要約

生成AIの急速な進歩は、画像の作成に革命をもたらし、テキストプロンプトからの高品質の合成を可能にしながら、メディアの信頼性の重要な課題を引き起こしています。
AI-Genbenchは、実際のシナリオでAIに生成された画像の堅牢な検出の緊急の必要性に対処するために設計された新しいベンチマークです。
静的データセットでモデルを評価する既存のソリューションとは異なり、AI-Genbenchは、GANSから拡散モデルへの移行などの新しい生成モデルに一般化する能力をテストするために、歴史的に生成モデルによって順序付けられた合成画像で検出方法が段階的にトレーニングされる一時的な評価フレームワークを導入します。
当社のベンチマークは、高品質で多様な視覚コンテンツに焦点を当てており、任意のデータセットスプリット、不公平な比較、過剰な計算要求など、現在のアプローチの重要な制限を克服します。
AI-Genbenchは、包括的なデータセット、標準化された評価プロトコル、および研究者と非専門家（たとえば、ジャーナリスト、ファクトチェッカー）の両方のためのアクセス可能なツールを提供し、実用的なトレーニング要件を維持しながら再現性を確保します。
明確な評価ルールと制御された増強戦略を確立することにより、AI-Genbenchは、検出方法とスケーラブルなソリューションの意味のある比較を可能にします。
コードとデータは、再現性を確保し、新しい合成ジェネレーターの上昇に対応するための堅牢なフォレンジック検出器の開発をサポートするために公開されています。

要約(オリジナル)

The rapid advancement of generative AI has revolutionized image creation, enabling high-quality synthesis from text prompts while raising critical challenges for media authenticity. We present Ai-GenBench, a novel benchmark designed to address the urgent need for robust detection of AI-generated images in real-world scenarios. Unlike existing solutions that evaluate models on static datasets, Ai-GenBench introduces a temporal evaluation framework where detection methods are incrementally trained on synthetic images, historically ordered by their generative models, to test their ability to generalize to new generative models, such as the transition from GANs to diffusion models. Our benchmark focuses on high-quality, diverse visual content and overcomes key limitations of current approaches, including arbitrary dataset splits, unfair comparisons, and excessive computational demands. Ai-GenBench provides a comprehensive dataset, a standardized evaluation protocol, and accessible tools for both researchers and non-experts (e.g., journalists, fact-checkers), ensuring reproducibility while maintaining practical training requirements. By establishing clear evaluation rules and controlled augmentation strategies, Ai-GenBench enables meaningful comparison of detection methods and scalable solutions. Code and data are publicly available to ensure reproducibility and to support the development of robust forensic detectors to keep pace with the rise of new synthetic generators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google