IMDL-BenCo: A Comprehensive Benchmark and Codebase for Image Manipulation Detection & Localization

要約

Image Manipulation Detection & Localization (IMDL) 分野では、包括的なベンチマークがまだ確立されていません。
このようなベンチマークが存在しないと、モデルの評価が不十分で誤解を招くことになり、この分野の発展が著しく損なわれます。
ただし、オープンソースのベースライン モデルが不足しており、トレーニングと評価のプロトコルが一貫していないため、IMDL モデル間の厳密な実験と忠実な比較を行うことが困難になります。
これらの課題に対処するために、最初の包括的な IMDL ベンチマークおよびモジュラー コードベースである IMDL-BenCo を導入します。
IMDL-BenCo: i) IMDL フレームワークを標準化された再利用可能なコンポーネントに分解し、モデル構築パイプラインを改訂して、コーディング効率とカスタマイズの柔軟性を向上させます。
ii) 包括的な IMDL ベンチマークを確立するために、最先端のモデルのトレーニング コードを完全に実装または組み込む。
iii) 確立されたベンチマークとコードベースに基づいて詳細な分析を実行し、IMDL モデル アーキテクチャ、データセットの特性、評価基準に対する新しい洞察を提供します。
具体的には、IMDL-BenCo には、共通の処理アルゴリズム、8 つの最先端の IMDL モデル (そのうち 1 つはスクラッチから再現)、2 セットの標準トレーニングおよび評価プロトコル、15 の GPU 高速化評価メトリクス、および 3 種類の
堅牢性の評価。
このベンチマークとコードベースは、IMDL 分野の現在の進歩を調整し、将来のブレークスルーを促す上での大きな進歩を表しています。
コードは https://github.com/scu-zjz/IMDLBenCo から入手できます。

要約(オリジナル)

A comprehensive benchmark is yet to be established in the Image Manipulation Detection & Localization (IMDL) field. The absence of such a benchmark leads to insufficient and misleading model evaluations, severely undermining the development of this field. However, the scarcity of open-sourced baseline models and inconsistent training and evaluation protocols make conducting rigorous experiments and faithful comparisons among IMDL models challenging. To address these challenges, we introduce IMDL-BenCo, the first comprehensive IMDL benchmark and modular codebase. IMDL-BenCo: i) decomposes the IMDL framework into standardized, reusable components and revises the model construction pipeline, improving coding efficiency and customization flexibility; ii) fully implements or incorporates training code for state-of-the-art models to establish a comprehensive IMDL benchmark; and iii) conducts deep analysis based on the established benchmark and codebase, offering new insights into IMDL model architecture, dataset characteristics, and evaluation standards. Specifically, IMDL-BenCo includes common processing algorithms, 8 state-of-the-art IMDL models (1 of which are reproduced from scratch), 2 sets of standard training and evaluation protocols, 15 GPU-accelerated evaluation metrics, and 3 kinds of robustness evaluation. This benchmark and codebase represent a significant leap forward in calibrating the current progress in the IMDL field and inspiring future breakthroughs. Code is available at: https://github.com/scu-zjz/IMDLBenCo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google