Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing

要約

大規模なマルチモダリティモデル（LMM）は、視覚的理解と生成に大きな進歩を遂げていますが、特に複雑な指示に従い、外観の一貫性を維持し、柔軟な入力形式をサポートする際に、一般的な視覚編集で依然として課題に直面しています。
このギャップを研究するために、推論に基づいた視覚編集（Rise）を評価するための最初のベンチマークであるRiseBenchを紹介します。
RiseBenchは、時間、因果関係、空間的、論理的推論の4つの重要な推論カテゴリに焦点を当てています。
各カテゴリの高品質のテストケースをキュレートし、人間の裁判官とLMMとしてのジャッジアプローチの両方で、指導の推論、外観の一貫性、および視覚的妥当性を評価する堅牢な評価フレームワークを提案します。
オープンソースと独自のモデルの両方を含む9つの顕著な視覚編集モデルを評価する実験を実施しました。
評価結果は、現在のモデルが推論ベースの編集タスクにおいて重要な課題に直面していることを示しています。
評価された最も強力なモデルであるGPT-4Oイメージでさえ、わずか28.8％の精度を達成しています。
RiseBenchは、現代の編集モデルの限界を効果的に強調し、貴重な洞察を提供し、推論を意識した視覚編集の分野の潜在的な将来の方向性を示しています。
コードとデータはhttps://github.com/phoenixz810/risebenchでリリースされています。

要約(オリジナル)

Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but they still face challenges in General Visual Editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To study this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE). RISEBench focuses on four key reasoning categories: Temporal, Causal, Spatial, and Logical Reasoning. We curate high-quality test cases for each category and propose an robust evaluation framework that assesses Instruction Reasoning, Appearance Consistency, and Visual Plausibility with both human judges and the LMM-as-a-judge approach. We conducted experiments evaluating nine prominent visual editing models, comprising both open-source and proprietary models. The evaluation results demonstrate that current models face significant challenges in reasoning-based editing tasks. Even the most powerful model evaluated, GPT-4o-Image, achieves an accuracy of merely 28.8%. RISEBench effectively highlights the limitations of contemporary editing models, provides valuable insights, and indicates potential future directions for the field of reasoning-aware visual editing. Our code and data have been released at https://github.com/PhoenixZ810/RISEBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google