HiPrompt: Tuning-free Higher-Resolution Generation with Hierarchical MLLM Prompts

要約

事前トレーニングされた拡散モデルを使用した高解像度画像生成の可能性は計り知れませんが、これらのモデルは、特に 4K 解像度以上にスケーリングする場合、オブジェクトの繰り返しや構造的アーティファクトの問題に苦戦することがよくあります。
私たちは、複数のスケールを生成するための 1 つのプロンプトでは効果が不十分であることが問題の原因であると考えました。
これに応えて、階層プロンプトを導入することで上記の問題に取り組む、チューニング不要の新しいソリューションである HiPrompt を提案します。
階層プロンプトは、グローバルとローカルの両方のガイダンスを提供します。
具体的には、グローバル ガイダンスはコンテンツ全体を説明するユーザー入力から得られ、ローカル ガイダンスは MLLM からのパッチごとの記述を利用して、領域構造とテクスチャ生成を精巧にガイドします。
さらに、逆ノイズ除去プロセス中に、生成されたノイズが低周波と高周波の空間成分に分解されます。
これらのコンポーネントは、詳細なパッチごとの説明やより広範な画像レベルのプロンプトなど、複数のプロンプト レベルで条件付けされており、階層的なセマンティック ガイダンスの下でプロンプトに基づくノイズ除去が容易になります。
さらに、ローカルな空間領域にさらに焦点を当てて生成することが可能になり、生成された画像が一貫したローカルおよびグローバルのセマンティクス、構造、およびテクスチャを高解像度で維持することが保証されます。
広範な実験により、HiPrompt が高解像度の画像生成において最先端の機能を上回っており、オブジェクトの繰り返しが大幅に減少し、構造の品質が向上していることが実証されています。

要約(オリジナル)

The potential for higher-resolution image generation using pretrained diffusion models is immense, yet these models often struggle with issues of object repetition and structural artifacts especially when scaling to 4K resolution and higher. We figure out that the problem is caused by that, a single prompt for the generation of multiple scales provides insufficient efficacy. In response, we propose HiPrompt, a new tuning-free solution that tackles the above problems by introducing hierarchical prompts. The hierarchical prompts offer both global and local guidance. Specifically, the global guidance comes from the user input that describes the overall content, while the local guidance utilizes patch-wise descriptions from MLLMs to elaborately guide the regional structure and texture generation. Furthermore, during the inverse denoising process, the generated noise is decomposed into low- and high-frequency spatial components. These components are conditioned on multiple prompt levels, including detailed patch-wise descriptions and broader image-level prompts, facilitating prompt-guided denoising under hierarchical semantic guidance. It further allows the generation to focus more on local spatial regions and ensures the generated images maintain coherent local and global semantics, structures, and textures with high definition. Extensive experiments demonstrate that HiPrompt outperforms state-of-the-art works in higher-resolution image generation, significantly reducing object repetition and enhancing structural quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google