I2EBench: A Comprehensive Benchmark for Instruction-based Image Editing

要約

命令ベースの画像編集 (IIE) の分野では大きな進歩が見られました。
ただし、これらのモデルの評価には大きな課題が伴います。
この分野における重要な要件は、編集結果を正確に評価し、編集のさらなる開発に貴重な洞察を提供するための包括的な評価ベンチマークを確立することです。
このニーズに応えて、IIE モデルによって生成された編集画像の品質を多次元から自動的に評価するように設計された包括的なベンチマークである I2EBench を提案します。
I2EBench は、編集用の 2,000 以上の画像と、対応する 4,000 以上のオリジナルの多様な命令で構成されています。
1) 包括的な評価次元: I2EBench は、高レベルと低レベルの両方の側面をカバーする 16 の評価次元で構成され、各 IIE モデルの包括的な評価を提供します。
2) 人間の知覚の整合性: ベンチマークと人間の知覚の整合性を確保するために、各評価次元について広範なユーザー調査を実施しました。
3) 貴重な研究洞察: 既存の IIE モデルの長所と短所を 16 の側面にわたって分析することで、この分野の将来の開発を導くための貴重な研究洞察を提供します。
すべての命令、入力画像、人間による注釈、評価されたすべてのメソッドからの編集画像、および新しい IIE モデルからの結果を評価するための単純なスクリプトを含む I2EBench をオープンソース化します。
すべての IIE モデルからのコード、データセット、生成されたイメージは、github: https://github.com/cocoshe/I2EBench で提供されます。

要約(オリジナル)

Significant progress has been made in the field of Instruction-based Image Editing (IIE). However, evaluating these models poses a significant challenge. A crucial requirement in this field is the establishment of a comprehensive evaluation benchmark for accurately assessing editing results and providing valuable insights for its further development. In response to this need, we propose I2EBench, a comprehensive benchmark designed to automatically evaluate the quality of edited images produced by IIE models from multiple dimensions. I2EBench consists of 2,000+ images for editing, along with 4,000+ corresponding original and diverse instructions. It offers three distinctive characteristics: 1) Comprehensive Evaluation Dimensions: I2EBench comprises 16 evaluation dimensions that cover both high-level and low-level aspects, providing a comprehensive assessment of each IIE model. 2) Human Perception Alignment: To ensure the alignment of our benchmark with human perception, we conducted an extensive user study for each evaluation dimension. 3) Valuable Research Insights: By analyzing the advantages and disadvantages of existing IIE models across the 16 dimensions, we offer valuable research insights to guide future development in the field. We will open-source I2EBench, including all instructions, input images, human annotations, edited images from all evaluated methods, and a simple script for evaluating the results from new IIE models. The code, dataset and generated images from all IIE models are provided in github: https://github.com/cocoshe/I2EBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google