Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

要約

高品質の画像を生成するためのテキストから画像へのモデルは大幅に進歩しましたが、これらの方法では、特にオブジェクトの属性と関係を保持する場合、複雑なテキスト プロンプトのコンテキストで画像に対するテキスト プロンプトの制御性を確保するのに依然として苦労しています。
この論文では、大規模言語モデル (LLM) エージェントをコアとして、構成的なテキストから画像を生成するためのトレーニング不要のアプローチである CompAgent を提案します。
CompAgent の基礎となる基本的な考え方は、分割統治法を前提としています。
オブジェクト、属性、関係などの複数の概念を含む複雑なテキスト プロンプトが与えられると、LLM エージェントは最初にそれを分解します。これには、個々のオブジェクト、それらに関連する属性の抽出、および一貫したシーン レイアウトの予測が伴います。
これらの個々のオブジェクトは独立して征服できます。
その後、エージェントはテキストを分析して推論を実行し、これらの分離されたオブジェクトを構成するためのツールを計画および使用します。
検証と人間によるフィードバックのメカニズムが最終的にエージェントに組み込まれ、潜在的な属性エラーがさらに修正され、生成された画像が改良されます。
LLMエージェントに導かれて、コンセプト構築のためのツールとしてチューニング不要のマルチコンセプトカスタマイズモデルとレイアウトから画像への生成モデルを提案し、検証のためにエージェントと対話するツールとしてローカル画像編集方法を提案します。
シーン レイアウトは、複数のオブジェクト間の混乱を防ぐために、これらのツール間のイメージ生成プロセスを制御します。
広範な実験により、合成テキストから画像への生成に対する当社のアプローチの優位性が実証されています。CompAgent は、オープンワールド合成 T2I 生成の包括的なベンチマークである T2I-CompBench で 10\% 以上の改善を達成しました。
さまざまな関連タスクへの拡張も、潜在的なアプリケーションに対する CompAgent の柔軟性を示しています。

要約(オリジナル)

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google