MCCD: Multi-Agent Collaboration-based Compositional Diffusion for Complex Text-to-Image Generation

要約

拡散モデルは、テキストから画像への生成において優れた性能を示してきた。しかしながら、既存の手法は、複数のオブジェクト、特性、関係を含む複雑なプロンプトを扱う際に、しばしば性能のボトルネックに悩まされる。そこで我々は、複雑なシーンのテキスト画像生成のためのマルチエージェントコラボレーションに基づく構文拡散（MCCD）を提案する。具体的には、様々なシーン要素を効果的に抽出するためにMLLMを利用し、異なるタスクを持つ複数のエージェントから構成されるエージェントシステムを生成するマルチエージェントコラボレーションに基づくシーン解析モジュールを設計する。さらに、階層的構文拡散は、ガウシアンマスクとフィルタリングを利用し、バウンディングボックス領域を精緻化し、領域強調によりオブジェクトを強調することで、複雑なシーンを正確かつ忠実に生成する。包括的な実験により、我々のMCCDが、訓練不要の方法でベースラインモデルの性能を大幅に向上させ、複雑なシーン生成において実質的な優位性を提供することが実証された。

要約(オリジナル)

Diffusion models have shown excellent performance in text-to-image generation. Nevertheless, existing methods often suffer from performance bottlenecks when handling complex prompts that involve multiple objects, characteristics, and relations. Therefore, we propose a Multi-agent Collaboration-based Compositional Diffusion (MCCD) for text-to-image generation for complex scenes. Specifically, we design a multi-agent collaboration-based scene parsing module that generates an agent system comprising multiple agents with distinct tasks, utilizing MLLMs to extract various scene elements effectively. In addition, Hierarchical Compositional diffusion utilizes a Gaussian mask and filtering to refine bounding box regions and enhance objects through region enhancement, resulting in the accurate and high-fidelity generation of complex scenes. Comprehensive experiments demonstrate that our MCCD significantly improves the performance of the baseline models in a training-free manner, providing a substantial advantage in complex scene generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL