TextMatch: Enhancing Image-Text Consistency Through Multimodal Optimization

要約

テキストから画像への生成モデルは、テキストから画像を作成することに優れていますが、出力とプロンプト間の位置合わせと一貫性を確保するのに苦労します。
このペーパーでは、テキストから画像 (T2I) の生成と編集における画像とテキストの不一致に対処するためにマルチモーダル最適化を活用する新しいフレームワークである TextMatch を紹介します。
TextMatch は、大規模言語モデル (LLM) とビジュアル質問応答 (VQA) モデルを活用したスコアリング戦略を採用し、プロンプトと生成された画像の間の意味の一貫性を評価します。
マルチモーダルなインコンテキスト学習と思考推論の連鎖を統合することにより、私たちの方法は反復的な最適化を通じてプロンプトを動的に改良します。
このプロセスにより、生成された画像がユーザーの意図をより適切に捉え、その結果、忠実性と関連性が高まります。
広範な実験により、TextMatch が複数のベンチマーク間でテキストと画像の一貫性を大幅に向上させ、テキストから画像への生成モデルの機能を向上させるための信頼できるフレームワークが確立されることが実証されました。
私たちのコードは https://anonymous.4open.science/r/TextMatch-F55C/ で入手できます。

要約(オリジナル)

Text-to-image generative models excel in creating images from text but struggle with ensuring alignment and consistency between outputs and prompts. This paper introduces TextMatch, a novel framework that leverages multimodal optimization to address image-text discrepancies in text-to-image (T2I) generation and editing. TextMatch employs a scoring strategy powered by large language models (LLMs) and visual question-answering (VQA) models to evaluate semantic consistency between prompts and generated images. By integrating multimodal in-context learning and chain of thought reasoning, our method dynamically refines prompts through iterative optimization. This process ensures that the generated images better capture user intent of, resulting in higher fidelity and relevance. Extensive experiments demonstrate that TextMatch significantly improves text-image consistency across multiple benchmarks, establishing a reliable framework for advancing the capabilities of text-to-image generative models. Our code is available at https://anonymous.4open.science/r/TextMatch-F55C/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google