LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation

要約

テキストから画像への生成分野では、最近の安定拡散のめざましい進歩により、豊富な種類の新しいフォトリアリスティックな画像を生成できるようになりました。
しかし、現在のモデルは依然として、複雑な自然シーンにおける位置ずれの問題（空間関係の理解や数値化の問題など）に直面しており、忠実度の高いテキストから画像への生成を妨げています。
最近では、スケッチや落書きなどのきめ細かなガイダンスを提供することで操作性を向上させる取り組みが行われていますが、こうしたガイダンス情報はユーザーが手動で提供する必要があるため、この問題は根本的には解決されていません。
この作業では、ガイダンスなしで、指定されたテキスト プロンプトと意味的に一致する高忠実度の画像を合成することに努めています。
この目的に向けて、レイアウト計画と画像生成を実現するための粗いから細かいパラダイムを提案します。
具体的には、まず、大規模言語モデルに基づくコンテキスト内学習を通じて、特定のテキスト プロンプトを条件とした粗粒度のレイアウトを生成します。
その後、プロンプトと自動生成されたレイアウトを条件として忠実度の高い画像を合成するための、きめ細かいオブジェクトインタラクション拡散法を提案します。
広範な実験により、私たちが提案した方法がレイアウトと画像生成の点で最先端のモデルよりも優れていることが実証されました。
コードと設定は \url{https://layoutllm-t2i.github.io} で入手できます。

要約(オリジナル)

In the text-to-image generation field, recent remarkable progress in Stable Diffusion makes it possible to generate rich kinds of novel photorealistic images. However, current models still face misalignment issues (e.g., problematic spatial relation understanding and numeration failure) in complex natural scenes, which impedes the high-faithfulness text-to-image generation. Although recent efforts have been made to improve controllability by giving fine-grained guidance (e.g., sketch and scribbles), this issue has not been fundamentally tackled since users have to provide such guidance information manually. In this work, we strive to synthesize high-fidelity images that are semantically aligned with a given textual prompt without any guidance. Toward this end, we propose a coarse-to-fine paradigm to achieve layout planning and image generation. Concretely, we first generate the coarse-grained layout conditioned on a given textual prompt via in-context learning based on Large Language Models. Afterward, we propose a fine-grained object-interaction diffusion method to synthesize high-faithfulness images conditioned on the prompt and the automatically generated layout. Extensive experiments demonstrate that our proposed method outperforms the state-of-the-art models in terms of layout and image generation. Our code and settings are available at \url{https://layoutllm-t2i.github.io}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google