Interleaved Scene Graphs for Interleaved Text-and-Image Generation Assessment

要約

多くの現実世界のユーザークエリ（たとえば、「卵のフライドライスを作るのはどうですか？」）は、料理本と同様に、添付の画像を使用して両方のテキストステップを使用して応答を生成できるシステムから利益を得ることができます。
インターリーブしたテキストと画像を生成するように設計されたモデルは、これらのモダリティ内およびおよび全体で一貫性を確保する上で課題に直面しています。
これらの課題に対処するために、インターリーブされたテキストとイメージの生成のための包括的な評価フレームワークであるISGを提示します。
ISGは、シーングラフ構造を活用してテキストブロックと画像ブロック間の関係をキャプチャし、4つのレベルの粒度の応答を評価します：ホリスティック、構造、ブロックレベル、画像固有。
この多層評価により、一貫性、一貫性、精度の微妙な評価が可能になり、解釈可能な質問回答フィードバックが提供されます。
ISGと併せて、8つのカテゴリと21のサブカテゴリに1,150のサンプルを含むベンチマークであるISGベンチを導入します。
このベンチマークデータセットには、現在のモデルの挑戦的な領域であるスタイル転送などの視覚中心のタスクでモデルを効果的に評価するための複雑な言語視力依存関係と黄金の回答が含まれています。
ISGベンチを使用して、最近の統一されたビジョン言語モデルがインターリーブコンテンツの生成に不十分に機能することを実証します。
個別の言語モデルと画像モデルを組み合わせた構成アプローチは、全体的なレベルで統一されたモデルよりも111％の改善を示していますが、そのパフォーマンスはブロックレベルと画像レベルの両方で最適です。
将来の作業を促進するために、「プランエキスケートレフィン」パイプラインを使用してツールを呼び出し、122％のパフォーマンス改善を達成するベースラインエージェントであるISG-Agentを開発します。

要約(オリジナル)

Many real-world user queries (e.g. ‘How do to make egg fried rice?’) could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a ‘plan-execute-refine’ pipeline to invoke tools, achieving a 122% performance improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google