Object-level Visual Prompts for Compositional Image Generation

要約

我々は、テキストから画像への拡散モデルの中で、オブジェクトレベルの視覚的プロンプトを構成する手法を紹介する。本アプローチは、テキストプロンプトが提供する多様性と表現力と同様に、多様なシーンとスタイルにわたって意味的に首尾一貫したコンポジションを生成するタスクを扱う。このタスクにおける重要な課題は、入力視覚プロンプトに描かれたオブジェクトの同一性を保持しつつ、異なる画像間で多様な構図を生成することである。この課題を解決するために、キーと値が異なる視覚表現から学習される、新しいKV-mixed crossattentionメカニズムを導入する。キーは、レイアウト制御のための小さなボトルネックを持つエンコーダから得られ、一方、値は、きめ細かい外観の詳細を捉える、より大きなボトルネックを持つエンコーダから得られる。これらの相補的なソースからのキーと値を混合することで、我々のモデルは視覚的プロンプトの同一性を保持しながら、オブジェクトの配置、ポーズ、構成の柔軟なバリエーションをサポートする。推論中、我々はさらに、この手法の同一性保持とレイアウトの正しさを改善するために、オブジェクトレベルの構成ガイダンスを提案する。その結果、我々の手法は、各ビジュアルプロンプトのユニークな特徴を保持した多様なシーン構成を生成し、テキストから画像への生成の創造的な可能性を拡大することが示された。

要約(オリジナル)

We introduce a method for composing object-level visual prompts within a text-to-image diffusion model. Our approach addresses the task of generating semantically coherent compositions across diverse scenes and styles, similar to the versatility and expressiveness offered by text prompts. A key challenge in this task is to preserve the identity of the objects depicted in the input visual prompts, while also generating diverse compositions across different images. To address this challenge, we introduce a new KV-mixed cross-attention mechanism, in which keys and values are learned from distinct visual representations. The keys are derived from an encoder with a small bottleneck for layout control, whereas the values come from a larger bottleneck encoder that captures fine-grained appearance details. By mixing keys and values from these complementary sources, our model preserves the identity of the visual prompts while supporting flexible variations in object arrangement, pose, and composition. During inference, we further propose object-level compositional guidance to improve the method’s identity preservation and layout correctness. Results show that our technique produces diverse scene compositions that preserve the unique characteristics of each visual prompt, expanding the creative potential of text-to-image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL