Concept Conductor: Orchestrating Multiple Personalized Concepts in Text-to-Image Synthesis

要約

テキストから画像へのモデルのカスタマイズは大幅に進歩しましたが、複数のパーソナライズされたコンセプトを生成することは依然として困難な作業です。
現在の方法では、複数の概念を処理する際の属性の漏洩とレイアウトの混乱に悩まされ、概念の忠実性と意味の一貫性が低下します。
この作業では、マルチコンセプトのカスタマイズにおいて視覚的な忠実性と正しいレイアウトを保証するように設計された、トレーニング不要の新しいフレームワーク Concept Conductor を導入します。
Concept Conductor は、複数のカスタム モデルのサンプリング プロセスを分離して、異なるコンセプト間の属性の漏洩を防ぎ、セルフ アテンション ベースの空間ガイダンスを通じて誤ったレイアウトを修正します。
さらに、形状認識マスクを使用して各概念の生成領域を指定する概念注入手法を紹介します。
この手法では、アテンション レイヤーの特徴融合を通じてパーソナライズされたコンセプトの構造と外観を注入し、最終画像の調和を確保します。
広範な定性的および定量的実験により、Concept Conductor が各コンセプトの視覚的な詳細を維持しながら、正確なレイアウトを持つ複合画像を一貫して生成できることが実証されました。
既存のベースラインと比較して、Concept Conductor は大幅なパフォーマンスの向上を示しています。
私たちの方法は、任意の数の概念の組み合わせをサポートし、視覚的に類似した概念を扱う場合でも高い忠実度を維持します。
コードとモデルは https://github.com/Nihukat/Concept-Conductor で入手できます。

要約(オリジナル)

The customization of text-to-image models has seen significant advancements, yet generating multiple personalized concepts remains a challenging task. Current methods struggle with attribute leakage and layout confusion when handling multiple concepts, leading to reduced concept fidelity and semantic consistency. In this work, we introduce a novel training-free framework, Concept Conductor, designed to ensure visual fidelity and correct layout in multi-concept customization. Concept Conductor isolates the sampling processes of multiple custom models to prevent attribute leakage between different concepts and corrects erroneous layouts through self-attention-based spatial guidance. Additionally, we present a concept injection technique that employs shape-aware masks to specify the generation area for each concept. This technique injects the structure and appearance of personalized concepts through feature fusion in the attention layers, ensuring harmony in the final image. Extensive qualitative and quantitative experiments demonstrate that Concept Conductor can consistently generate composite images with accurate layouts while preserving the visual details of each concept. Compared to existing baselines, Concept Conductor shows significant performance improvements. Our method supports the combination of any number of concepts and maintains high fidelity even when dealing with visually similar concepts. The code and models are available at https://github.com/Nihukat/Concept-Conductor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google