A Unified Agentic Framework for Evaluating Conditional Image Generation

要約

条件付き画像生成は、コンテンツをパーソナライズする能力について大きな注目を集めています。
ただし、この分野は、タスクに依存しない、信頼性が高く、説明可能な評価メトリックの開発において課題に直面しています。
このペーパーでは、条件付き画像生成タスクの包括的な評価のための統一されたエージェントフレームワークであるCigevalを紹介します。
CIGEVALは、大規模なマルチモーダルモデル（LMM）をコアとして利用し、多機能ツールボックスを統合し、微調整された評価フレームワークを確立します。
さらに、微調整のための評価軌道を合成し、小さなLMMSに適切なツールを自律的に選択し、ツール出力に基づいて微妙な分析を実施するように力を与えます。
7つの顕著な条件付き画像生成タスクにわたる実験では、CIGEVAL（GPT-4Oバージョン）が0.4625の高い相関をヒト評価と達成し、0.47のアノテーター間相関に密接に一致することが示されています。
さらに、わずか2.3kのトレーニング軌跡を使用して7BオープンソースLMMで実装された場合、Cievalは以前のGPT-4Oベースの最先端の方法を上回ります。
GPT-4O画像生成に関するケーススタディは、被験者の一貫性とガイダンスの制御に関連する微妙な問題を特定する際のCigvalの能力を強調し、人間レベルの信頼性を備えた画像生成タスクの評価を自動化する大きな可能性を示しています。

要約(オリジナル)

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval’s capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google