Let’s ViCE! Mimicking Human Cognitive Behavior in Image Generation Evaluation

要約

画像生成の研究は最近、特にテキスト入力に基づいて高品質のビジュアルコンテンツを生成できる視覚言語モデルの導入によって大きく進歩しました。
生成の品質と現実性の点で進歩が続いているにもかかわらず、生成されたコンテンツの品質と、要求されたリクエストの順守を定量的に測定する方法論的なフレームワークはまだ定義されていません。これまでのところ、品質の満足度および要求への遵守に関しては、人による評価のみが採用されています。
さまざまな生成方法を比較するため。
我々は、ビジュアルコンセプト評価（ViCE）のための新しい自動化手法を導入します。つまり、人間の認知行動にヒントを得たプロセスを使用して、生成/編集された画像と対応するプロンプト/指示の間の一貫性を評価します。
ViCE は、大規模言語モデル (LLM) とビジュアル質問応答 (VQA) の長所を統合パイプラインに統合し、品質評価における人間の認知プロセスを再現することを目的としています。
この方法では、視覚的な概念の概要を説明し、画像固有の検証質問を作成し、Q&A システムを利用して画像を調査し、組み合わせた結果をスコア付けします。
画像評価プロセスにおいて人間を模倣するというこの勇敢で新しい仮説は予備評価段階にありますが、結果は有望であり、画像生成または画像ターゲット編集タスクがより重要になるにつれて大きな影響を与える可能性のある新しい形式の自動評価への扉を開きます。
ますます洗練されています。

要約(オリジナル)

Research in Image Generation has recently made significant progress, particularly boosted by the introduction of Vision-Language models which are able to produce high-quality visual content based on textual inputs. Despite ongoing advancements in terms of generation quality and realism, no methodical frameworks have been defined yet to quantitatively measure the quality of the generated content and the adherence with the prompted requests: so far, only human-based evaluations have been adopted for quality satisfaction and for comparing different generative methods. We introduce a novel automated method for Visual Concept Evaluation (ViCE), i.e. to assess consistency between a generated/edited image and the corresponding prompt/instructions, with a process inspired by the human cognitive behaviour. ViCE combines the strengths of Large Language Models (LLMs) and Visual Question Answering (VQA) into a unified pipeline, aiming to replicate the human cognitive process in quality assessment. This method outlines visual concepts, formulates image-specific verification questions, utilizes the Q&A system to investigate the image, and scores the combined outcome. Although this brave new hypothesis of mimicking humans in the image evaluation process is in its preliminary assessment stage, results are promising and open the door to a new form of automatic evaluation which could have significant impact as the image generation or the image target editing tasks become more and more sophisticated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google