Localizing Object-level Shape Variations with Text-to-Image Diffusion Models

要約

テキストから画像へのモデルは、多くの場合、ユーザーが生成された画像の大規模なコレクションをふるいにかける探索ステップから始まるワークフローを生み出します。
テキストから画像への生成プロセスのグローバルな性質により、ユーザーは画像内の特定のオブジェクトに探索を絞り込むことができません。
このホワイト ペーパーでは、特定のオブジェクトの形状のバリエーションを表す画像のコレクションを生成する手法を提示し、オブジェクト レベルの形状探索プロセスを可能にします。
生成されたオブジェクトのセマンティクスを尊重しながら形状を制御する必要があるため、もっともらしいバリエーションを作成することは困難です。
オブジェクトのバリエーションを生成する際の特定の課題は、オブジェクトの形状に適用された操作を正確にローカライズすることです。
さまざまな形状の選択肢を得るために、ノイズ除去プロセスに沿ってプロンプトを切り替えるプロンプト ミキシング テクニックを紹介します。
画像空間操作をローカライズするために、クロスアテンションレイヤーと組み合わせてセルフアテンションレイヤーを使用する2つの手法を紹介します。
さらに、これらのローカリゼーション手法が一般的であり、オブジェクトのバリエーションを生成する範囲を超えて効果的であることを示します。
広範な結果と比較により、オブジェクトのバリエーションを生成する方法の有効性と、ローカリゼーション技術の能力が実証されています。

要約(オリジナル)

Text-to-image models give rise to workflows which often begin with an exploration step, where users sift through a large collection of generated images. The global nature of the text-to-image generation process prevents users from narrowing their exploration to a particular object in the image. In this paper, we present a technique to generate a collection of images that depicts variations in the shape of a specific object, enabling an object-level shape exploration process. Creating plausible variations is challenging as it requires control over the shape of the generated object while respecting its semantics. A particular challenge when generating object variations is accurately localizing the manipulation applied over the object’s shape. We introduce a prompt-mixing technique that switches between prompts along the denoising process to attain a variety of shape choices. To localize the image-space operation, we present two techniques that use the self-attention layers in conjunction with the cross-attention layers. Moreover, we show that these localization techniques are general and effective beyond the scope of generating object variations. Extensive results and comparisons demonstrate the effectiveness of our method in generating object variations, and the competence of our localization techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google