Isolated Diffusion: Optimizing Multi-Concept Text-to-Image Generation Training-Freely with Isolated Diffusion Guidance

要約

大規模なテキストから画像への拡散モデルは、ターゲット テキスト プロンプトを与えられた高品質で多様な画像を合成することに大きな成功を収めています。
革新的な画像生成能力にもかかわらず、現在の最先端のモデルは、多くの場合、複数の概念の生成を正確に処理するのにまだ苦労しています。
この現象は「概念の滲み出し」として知られており、さまざまな概念が予期せず重複したり融合したりする現象として現れます。
この論文では、複雑なシーンにおけるさまざまな被写体とその付属物間の相互干渉に対処し、より良いテキストと画像の一貫性を追求する、テキストから画像への拡散モデルの一般的なアプローチを紹介します。
中心的なアイデアは、さまざまな概念の合成プロセスを分離することです。
分割テキストプロンプトを使用して、各添付ファイルを対応する件名に個別にバインドすることを提案します。
さらに、複数の主題の合成における概念の滲みの問題を修正するための修正方法を紹介します。
まず、事前にトレーニングされたオブジェクト検出およびセグメンテーション モデルに依存して、被写体のレイアウトを取得します。
次に、相互干渉を避けるために、各主題を個別に分離し、対応するテキスト プロンプトを使用して再合成します。
全体として、私たちは分離拡散という名前のトレーニング不要の戦略を達成し、マルチコンセプトのテキストから画像への合成を最適化します。
最新の Stable Diffusion XL (SDXL) および以前の Stable Diffusion (SD) モデルと互換性があります。
私たちは、さまざまなマルチコンセプトのテキストプロンプトを使用して、私たちのアプローチを代替方法と比較し、テキストと画像の一貫性とユーザー調査における明らかな利点によってその有効性を実証します。

要約(オリジナル)

Large-scale text-to-image diffusion models have achieved great success in synthesizing high-quality and diverse images given target text prompts. Despite the revolutionary image generation ability, current state-of-the-art models still struggle to deal with multi-concept generation accurately in many cases. This phenomenon is known as “concept bleeding’ and displays as the unexpected overlapping or merging of various concepts. This paper presents a general approach for text-to-image diffusion models to address the mutual interference between different subjects and their attachments in complex scenes, pursuing better text-image consistency. The core idea is to isolate the synthesizing processes of different concepts. We propose to bind each attachment to corresponding subjects separately with split text prompts. Besides, we introduce a revision method to fix the concept bleeding problem in multi-subject synthesis. We first depend on pre-trained object detection and segmentation models to obtain the layouts of subjects. Then we isolate and resynthesize each subject individually with corresponding text prompts to avoid mutual interference. Overall, we achieve a training-free strategy, named Isolated Diffusion, to optimize multi-concept text-to-image synthesis. It is compatible with the latest Stable Diffusion XL (SDXL) and prior Stable Diffusion (SD) models. We compare our approach with alternative methods using a variety of multi-concept text prompts and demonstrate its effectiveness with clear advantages in text-image consistency and user study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google